آموزش · ارزیابی مدارکهمه پروژهها
شش روز تبدیل شد به یازده دقیقه.
حوزهآموزش · ارزیابی مدارک
کارفرماUNID Solutions
سال۲۰۲۴
وضعیتتولید · در حال مقیاسگذاری
فناوریهاLLM Eval Pipeline · Document AI · pgvector + Goldset · Human-in-the-loop · Audit Trail · Next.js + Postgres
INDIMA · آموزش · ارزیابی مدارک۲۰۲۴
موتور ارزیابی مدارک با هوش مصنوعی و ردگیری کامل ممیزی. شش روز بررسی به یازده دقیقه تبدیل میشود — قابلراستیآزمایی، نه حدس.
چالش
یک دانشگاه مدارک را با دست ارزیابی میکرد. در شش روز.
فرآیند: مدارک PDF از بیش از ۷۰ کشور، نگاشت دستی روی سیستم ECTS، تبدیل نمرات و سپس صدور ارزیابی با ردگیری ممیزی. هشت اپراتور، یک هفته برای هر پرونده، هزاران درخواست در صف. سالها تلاش شده بود — شکست به خاطر ناپایداری، نه مدلها.
رویکرد
نه یک مدل. یک حلقه.
نگاشت را به یک حلقه ارزیابی-بازارزیابی بردیم: هوش مصنوعی سند مدرک را میخواند، یک ایجنت مقادیر ECTS را پیشنهاد میدهد، ایجنت دوم آن را در برابر مجموعه مرجع و سوابق بررسی میکند و یک گام تأیید انسانی پرونده را میبندد. هر گام با ردگیری ممیزی. تعویض مدل وسط پروژه مشکلی نبود — چون خط ارزیابی آن را میسنجد، نه حسِ شهودی.
LLM Eval PipelineDocument AIpgvector + GoldsetHuman-in-the-loopAudit TrailNext.js + Postgres
نتیجه
امروز دو اپراتور کاری را انجام میدهند که هشت نفر در یک هفته میکردند.
زمان بررسی
۶ روز→۱۱ دقیقه
−۹۹٪
اپراتور در هر پرونده
۸→۲
−۷۵٪
یافتههای ممیزی
۱۴ در سال→۰
−۱۰۰٪
صف انتظار
~۲۴۰۰→<۳۰
−۹۸٪
«سه تأمینکننده را امتحان کرده بودیم. با ادلس، اولین مدرک پس از دو هفته تمیز ارزیابی شد — و بعد از هشت ماه به استاندارد تبدیل شد.»

