رفتن به محتوا
آموزش · ارزیابی مدارکهمه پروژه‌ها

شش روز تبدیل شد به یازده دقیقه.

حوزهآموزش · ارزیابی مدارک
کارفرماUNID Solutions
سال۲۰۲۴
وضعیتتولید · در حال مقیاس‌گذاری
فناوری‌هاLLM Eval Pipeline · Document AI · pgvector + Goldset · Human-in-the-loop · Audit Trail · Next.js + Postgres
INDIMA · آموزش · ارزیابی مدارک۲۰۲۴

موتور ارزیابی مدارک با هوش مصنوعی و ردگیری کامل ممیزی. شش روز بررسی به یازده دقیقه تبدیل می‌شود — قابل‌راستی‌آزمایی، نه حدس.

چالش

یک دانشگاه مدارک را با دست ارزیابی می‌کرد. در شش روز.

فرآیند: مدارک PDF از بیش از ۷۰ کشور، نگاشت دستی روی سیستم ECTS، تبدیل نمرات و سپس صدور ارزیابی با ردگیری ممیزی. هشت اپراتور، یک هفته برای هر پرونده، هزاران درخواست در صف. سال‌ها تلاش شده بود — شکست به خاطر ناپایداری، نه مدل‌ها.
رویکرد

نه یک مدل. یک حلقه.

نگاشت را به یک حلقه ارزیابی-بازارزیابی بردیم: هوش مصنوعی سند مدرک را می‌خواند، یک ایجنت مقادیر ECTS را پیشنهاد می‌دهد، ایجنت دوم آن را در برابر مجموعه مرجع و سوابق بررسی می‌کند و یک گام تأیید انسانی پرونده را می‌بندد. هر گام با ردگیری ممیزی. تعویض مدل وسط پروژه مشکلی نبود — چون خط ارزیابی آن را می‌سنجد، نه حسِ شهودی.
LLM Eval PipelineDocument AIpgvector + GoldsetHuman-in-the-loopAudit TrailNext.js + Postgres
نتیجه

امروز دو اپراتور کاری را انجام می‌دهند که هشت نفر در یک هفته می‌کردند.

زمان بررسی
۶ روز۱۱ دقیقه
−۹۹٪
اپراتور در هر پرونده
۸۲
−۷۵٪
یافته‌های ممیزی
۱۴ در سال۰
−۱۰۰٪
صف انتظار
~۲۴۰۰<۳۰
−۹۸٪

«سه تأمین‌کننده را امتحان کرده بودیم. با ادلس، اولین مدرک پس از دو هفته تمیز ارزیابی شد — و بعد از هشت ماه به استاندارد تبدیل شد.»

مدیر ارزیابی مدارک · کنسرسیوم دانشگاهی · وین