آموزش · ارزیابی مدارکهمه پروژهها
حوزهآموزش · ارزیابی مدارک
کارفرماUNID Solutions
سال۲۰۲۴
وضعیتتولید · در حال مقیاسگذاری
فناوریهاLLM Eval Pipeline · Document AI · pgvector + Goldset · Human-in-the-loop · Audit Trail · Next.js + Postgres
موتور ارزیابی مدارک با هوش مصنوعی و ردگیری کامل ممیزی. شش روز بررسی به یازده دقیقه تبدیل میشود — قابلراستیآزمایی، نه حدس.
چالش
فرآیند: مدارک PDF از بیش از ۷۰ کشور، نگاشت دستی روی سیستم ECTS، تبدیل نمرات و سپس صدور ارزیابی با ردگیری ممیزی. هشت اپراتور، یک هفته برای هر پرونده، هزاران درخواست در صف. سالها تلاش شده بود — شکست به خاطر ناپایداری، نه مدلها.
رویکرد
نگاشت را به یک حلقه ارزیابی-بازارزیابی بردیم: هوش مصنوعی سند مدرک را میخواند، یک ایجنت مقادیر ECTS را پیشنهاد میدهد، ایجنت دوم آن را در برابر مجموعه مرجع و سوابق بررسی میکند و یک گام تأیید انسانی پرونده را میبندد. هر گام با ردگیری ممیزی. تعویض مدل وسط پروژه مشکلی نبود — چون خط ارزیابی آن را میسنجد، نه حسِ شهودی.
LLM Eval PipelineDocument AIpgvector + GoldsetHuman-in-the-loopAudit TrailNext.js + Postgres
نتیجه
زمان بررسی
۶ روز→۱۱ دقیقه
−۹۹٪
اپراتور در هر پرونده
۸→۲
−۷۵٪
یافتههای ممیزی
۱۴ در سال→۰
−۱۰۰٪
صف انتظار
~۲۴۰۰→<۳۰
−۹۸٪
«سه تأمینکننده را امتحان کرده بودیم. با ادلس، اولین مدرک پس از دو هفته تمیز ارزیابی شد — و بعد از هشت ماه به استاندارد تبدیل شد.»
پروژههای دیگر

