كيف تكتب أول تقييم للذكاء الاصطناعي - سالي آن ديلوسيا، Arize AI
원제 · How to Write Your First AI Eval - SallyAnn DeLucia, Arize AI
핵심 요약
يتطلب بناء تقييم موثوق لوكلاء الذكاء الاصطناعي تحويل خطوات التتبع إلى بيانات اختبارية وفحص بُعد كيفي واحد ومحدد بدقة عبر نموذج لغوي كحكم لتجنب أخطاء الفحوصات الحدسية.
하이라이트
تعتمد موثوقية تقييمات نماذج اللغة كحكام على حصر الفحص في بُعد نوعي واحد لكل مقيم بدلاً من خلط معايير متعددة في تقييم واحد.
تختلف تقييمات الذكاء الاصطناعي عن اختبارات الوحدات البرمجية التقليدية بوجود مخرجات متعددة صالحة للطلب الواحد لا يمكن تغطيتها بفحص قطعي أحادي.
توفر نماذج القرار بديلاً سريعاً ومنخفض التكلفة يقدم احتمالات أو تصنيفات مباشرة دون صياغة تفسيرات مكتوبة للأسباب.
تحول مراقبة التتبعات خطوات عمل الوكلاء إلى سجلات واضحة تتيح تشخيص التراجعات قبل نشر تعديلات التوجيهات إلى بيئات الإنتاج.
تضم أنظمة الإنتاج المتقدمة عشرات الفحوصات المتخصصة؛ حيث يشغل وكيل أليكس 32 تقييماً مستقلاً بعد بدئه بمجموعة محدودة.
타임라인
أسباب قصور الفحوصات الحدسية واختبارات الوحدة البرمجية
يفشل الاعتماد على الانطباع اللحظي بعد تعديل التعليمات في حماية الأنظمة من الأعطال غير المباشرة في حالات الاستخدام الأخرى. تقيد اختبارات البرمجيات التقليدية النتائج بمدخل واحد ومخرج صحيح واحد مع منطق كودي مقروء، بينما تتطلب مسارات الوكلاء فحص خطوات استدلال معقدة ومخرجات مقبولة متعددة. توفر شجرة التتبع سجلاً كاملاً لكل استدعاء أداة ومعالجة تلخيصية لتشخيص الأداء بدقة.
- يؤدي غياب أنظمة التقييم المنهجية إلى تمرير تراجعات خفية عند تعديل الموجهات البرمجية.
- تنتج وكلاء الذكاء الاصطناعي مخرجات متعددة صالحة تجعل اختبارات الوحدة التقليدية غير كافية.
- تمثل مسارات التتبع سجلات النشاط الأساسية التي تكشف تسلسل أدوات الوكيل ونداءات النماذج.
تصنيفات التقييمات وآليات الحكم الآلي
تتنوع منهجيات التدقيق بين استخدام نموذج لغوي ثانوي لتقييم صلة المخرجات أو جودة التلخيص وتوليد تعليل يوضح الحكم، واستخدام نماذج القرار لحساب الاحتمالات بشكل فوري. تظل الفحوصات الحتمية المعتمدة على الكود مناسبة للتحقق من صياغات JSON أو تطابق الكلمات المفتاحية ومقاييس روج وبلو. ترافق تقييمات الكود والنماذج الحاكمة دورة حياة النظام من التطوير الداخلي حتى المراقبة في بيئة الإنتاج.
- تقدم نماذج اللغة كحكام تصنيفات مدعومة بشروح تفصيلية تبين حيثيات القرار.
- تتميز نماذج القرار بسرعة الاستجابة وانخفاض التكلفة لكونها تعيد احتمالات مباشرة دون شروح.
- تخدم التقييمات القائمة على الأكواد والبيانات الموسومة متطلبات الفحص الحتمي والتطوير الممتد.
تحليل مسارات تتبع وكيل التخطيط وضبط التكامل
يوفر فحص مسارات تتبع وكيل تخطيط الرحلات نافذة لرؤية كيفية استلام تفاصيل الوجهة والميزانية وعدد الأيام من المستخدم ومعالجتها. تتضمن الشجرة نطاقاً رئيسياً تتفرع منه مهام استدعاء أدوات الطقس والمواقع ثم تمرير المخرجات لنموذج لغوي للتلخيص قبل صياغة خطة الرحلة النهائية. تتيح أطر التتبع المحايدة مراقبة مختلف الهيكليات البرمجية سواء اعتمدت على وكيل موجه مركزي أو وحدات متسلسلة.
- يستلزم إجراء التقييم ربط مفاتيح واجهات البرمجة لمزودي النماذج داخل بيئة الرصد.
- تتكون شجرة التتبع من نطاق جذري يحمل النتائج النهائية وسلسلة نطاقات فرعية تمثل خطوات العمل الفردية.
- تعمل البنى متعددة الوكلاء على تقسيم المهام بين وكلاء متخصصين واستدعاءات أدوات خارجية لجمع البيانات وتلخيصها.
صياغة معايير النجاح وتفادي الأوصاف العامة
يؤدي استخدام مصطلحات فضفاضة مثل 'مفيد' أو 'دقيق' إلى تشويش أحكام النماذج، ويستعاض عن ذلك بقواعد واضحة مثل التزام الوكيل بالميزانية المحددة وتغطية عدد الأيام المطلوبة. تشير التجارب إلى أن تكليف نموذج لغوي واحد بمطابقة معايير متباينة في آن واحد يضعف فاعليته مقارنة بتخصيص مقيم منفصل لكل خاصية. يتيح هذا التدرج صياغة قواعد أولية ثم مضاعفتها مع تزايد حالات الاستخدام الواقعية.
- تتطلب التقييمات الدقيقة معايير ملموسة مثل مطابقة الميزانية وأيام الرحلة بدلاً من أوصاف الجودة العامة.
- يحقق نموذج اللغة كحكم أعلى دقة عندما يقتصر على تقييم بُعد نوعي واحد في كل مرة.
- يبدأ التقييم بنطاق محدود من الاختبارات ويتوسع تدريجياً استناداً إلى بيانات التشغيل الفعلي.
بناء واختبار موجه التقييم في بيئة التجارب
يبدأ بناء المقيم بتصفية سجلات التتبع وفق معرفات محددة لعزل الخطوة المراد اختبارها وحفظها في مجموعة بيانات. يُصاغ موجه التقييم بتحديد دور النموذج اللغوي، وإدراج معايير النجاح والرسوب، واستخدام ربط المتغيرات لتسهيل إعادة استخدام المقيم عبر مصادر بيانات متباينة دون تعديل صياغته. تُختبر النتائج بمقارنة تصنيفات الصواب والخطأ وتفسيراتها، مع إمكانية توظيف وكيل للمساعدة في تحسين الموجه آلياً.
- يتم استخراج النطاقات المستهدفة كاستدعاءات الأدوات أو النطاقات الجذرية وتجميعها في مجموعة بيانات مخصصة.
- يفصل تعيين المتغيرات نص موجه التقييم عن أسماء الحقول الفعلية في سجلات التتبع.
- تحدد معلمات التقييم طبيعة التصنيف واتجاه التحسين لفرز النتائج وتوليد التفسيرات.
المواءمة البشرية ونشر التقييمات في الإنتاج
تتطلب موثوقية الرصد المستمر تشغيل التقييمات آلياً عبر السجلات المتدفقة وإشراك أصحاب المصلحة من أقسام المنتج والهندسة والدعم في تعريف شروط القبول. ينحصر دور المقاييس الإحصائية في التنبيه إلى انحرافات الأداء العامة، بينما تعزل التقييمات السبب المباشر كتقديم معلومات وجهة غير مطابقة. يساعد بدء الاختبار بنحو 20 تتبعاً مع مقيم واحد في إحكام القوالب قبل تعميمها وتوسيع نطاق الاعتماد على نماذج القرار.
- تتحقق مواءمة المقيمات بمقارنة مخرجات نموذج التحكيم مع عينات موسومة بشرياً للتأكد من تطابق الأحكام.
- يعمل دمج التقييمات الفورية على فحص كل تتبع إنتاجي بصفة مستمرة ونشر نتائجه تلقائياً.
- تكشف المقاييس الرقمية وقوع الخلل بينما تحدد التقييمات النوعية آلية الفشل الدقيقة وسببه.
설명
A hands-on workshop from SallyAnn DeLucia, head of product at Arize AI, on moving from vibe checks to real evals. She covers what an eval is and how it differs from a unit test, the main types (LLM as a judge, decision models, code evals, annotations, agent as a judge), how to read a trace, how to write concrete pass/fail criteria, and how to build and iterate on an LLM judge in Arize's prompt playground. Chapters 00:00 Intro and agenda 02:06 Why vibe checks don't scale 03:08 Is an eval just a unit test? 04:13 Why agents make evals harder 05:15 Types of evals 07:29 Workshop setup 10:16 Exploring the travel agent's traces 14:20 How to read a trace 19:03 Defining what good means 22:02 Writing pass/fail criteria 25:19 Building a dataset from traces 26:53 Building and testing an LLM judge 32:08 Next steps: alignment, online evals, Signal SallyAnn DeLucia, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!