كيفية اختبار وكلاء الذكاء الاصطناعي عندما لا توجد معايير مرجعية — نثانييل ويل، الخطوط الجوية الكندية
원제 · How to Test AI Agents When No Benchmark Exists — Nathanael Weill, Air Canada
핵심 요약
يؤدي قلب مشكلة التقييم عبر توليد الاختبارات والأسئلة البرمجية من المستندات أولاً إلى الانتقال من تجربة واحدة أسبوعياً إلى العشرات يومياً وتحسين دقة وكلاء الذكاء الاصطناعي.
하이라이트
تتطلب أتمتة تحليل عقود الموردين في الخطوط الجوية الكندية التغلب على غياب المعايير المرجعية ومحدودية الوصول إلى الخبراء القانونيين.
أدى قلب عملية الاسترجاع المعزز لتوليد الأسئلة من المستندات أولاً واختبار الوكيل في البحث عنها إلى رفع معدل التقييمات من مرة أسبوعياً إلى العشرات يومياً.
أسفر توليد 275 اختباراً برمجياً استناداً إلى قواعد محددة عن إتاحة تقييم دقيق دون الاعتماد على آراء الخبراء البطيئة.
تنتج إزالة البنود الأساسية من العقود الموقعة اختباراً مرجعياً يقيس بدقة قدرة الوكيل على رصد النقص.
يضمن استخدام التحويلات الثابتة عبر تعديل أسماء الموردين وإعادة ترتيب البنود ثبات المخرجات دون تغيير النتيجة.
타임라인
تحديات بناء وكلاء الذكاء الاصطناعي دون معايير مرجعية
تخلق قطاعات العمل المتعددة في شركات الطيران تحديات فريدة لكل مهمة ذكاء اصطناعي. تطلبت إدارة 10,000 وثيقة لموردي الاتصالات التعامل مع منطق معقد لاستخراج الإجابات الصحيحة. أدى الاعتماد على الاجتماعات الأسبوعية البشرية لتقييم النماذج إلى إبطاء وتيرة التطوير مقارنة بسرعة تعديل الوكيل البرمجي.
- يتولى فريق علم البيانات في طيران كندا تقديم حلول الذكاء الاصطناعي لقطاعات العمليات والشركات والتجارة والولاء.
- واجه مشروع نظام الأسئلة والأجوبة لمهندسي الاتصالات غياب المعايير العامة ومحدودية الوصول إلى الخبراء.
- اقتصرت دورة التقييم السابقة على اجتماع أسبوعي واحد يقارن فيه الخبراء بين خمسة روبوتات محادثة.
قلب الآلية لتوليد الاختبارات البرمجية وأتمتة التقييم
تستبدل عملية عكس الاسترجاع المعزز آراء الخبراء الذاتية بتقييم برمجي موضوعي. يتيح توليد الأسئلة من النصوص الأصلية اختبار قدرة الوكيل على استرجاع المعرفة بدقة متناهية. تضمن هذه الطريقة تطور دقة النظام بمرور الأسابيع دون الحاجة لحلقات تقييم بشري مكلفة.
- يعتمد النهج المعكوس على البدء بصفحة مستند، توليد سؤال عبر نموذج لغوي، ومقارنة إجابة الوكيل بالنص الأصلي عبر الكود.
- ارتفع معدل التقييمات من تقييم واحد أسبوعياً إلى العشرات يومياً بفضل الأتمتة البرمجية.
- أدى التخلص من التعقيدات الزائدة والتركيز على نموذج التضمين وتقسيم النصوص إلى زيادة الدقة تدريجياً.
تطبيق التقنيات الخمس لتقييم عقود الموردين
تستوجب مراجعة عقود الموردين مهاماً قانونية طويلة تعرض السلسلة لتأخيرات كبيرة عند حدوث أي خطأ. يوفر استخدام القواعد المحددة وتوليد العقود الاصطناعية مساراً تقييمياً قوياً. يسمح توليد مصفوفات اختبار من قوالب العقود بفحص البنود المتوافقة وغير المتوافقة خلال دقائق معدودة.
- تتضمن أتمتة مراجعة عقود الموردين رصد البنود، إيجاد المستندات الداعمة، كتابة التعديلات، وتصنيف النتائج.
- أسفر استخدام القواعد المحددة عن توليد 275 اختباراً برمجياً لتقييم التوافق بدقة.
- تقيس إزالة بنود محددة من العقود الموقعة كفاءة الوكيل في اكتشاف البنود المفقودة.
- يتحقق النظام من ثبات المخرجات عبر تعديل أسماء الموردين والعناوين وإعادة ترتيب البنود دون تغيير النتيجة.
- يستغل نهج القوالب الفراغات الموجودة في عقود الخبراء لتوليد مصفوفة اختبارات تفحص خرق القواعد برمجياً.
تجاوز عقبات التقييم استخدام التعليقات لتحسين الاختبارات
تواجه أساليب النموذج اللغوي كقاضٍ صعوبات تقنية بالغة تتطلب جهوداً كبيرة تضاهي بناء الوكيل الأساسي. يؤدي توجيه ملاحظات الخبراء نحو تحسين بنية الاختبارات ورسائل التوجيه إلى تسريع دورات التطوير. يتيح الانتقال إلى نهج كتابة الاختبار أولاً التوقف عن إطلاق الوكلاء دون تقييم مسبق وتحقيق تقدم مستدام.
- يولد استخدام النموذج اللغوي كقاضٍ تشويشاً معقداً يضاهي صعوبة حل المشكلة الأساسية.
- تُستَخدَم التعليقات الحقيقية الناتجة عن الاختبارات لتطوير اختبارات ورسائل توجيهية أفضل في كل دورة.
- يمثل كتابة الاختبار أولاً نقطة بداية لتطوير المطور وليست معياراً نهائياً للموافقة على الحل.
설명
Nathanael Weill leads a team building AI agents at Air Canada, where tasks are so specific there's no public benchmark and domain experts have little time to grade results. His fix is to write the answer first: start from a known answer, generate the input from it, and check whether the agent finds its way back. He shows how that took a past RAG project from one expert-graded test a week to dozens of automated tests a day, then applies it to a supplier-contract review agent with five ways to build a test set: past decisions, planted rule violations, removed clauses, changes that shouldn't matter, and contract templates with filled-in blanks. He also explains why he avoids LLM judges whenever code can check the answer. Chapters: - 00:00 Intro - 00:47 No benchmark, no experts - 01:41 A lesson from a telecom RAG project - 04:43 Weekly expert reviews were too slow - 05:38 Flip it: write the answer first - 06:33 From one test a week to dozens a day - 07:30 Supplier contract review - 10:08 How the contract agent works - 10:39 Five ways to build a test set - 12:31 Planting rule violations - 13:39 Removing clauses - 14:42 Changes that shouldn't matter - 15:38 Templates with blanks - 16:39 Avoid LLM judges when code can check - 18:07 Use expert feedback to build better tests Nathanael Weill, Air Canada: https://www.aircanada.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!