لا تثق بوكلاء الذكاء الاصطناعي لديك. اختبرهم مثل العلماء — ستيفاني جارماك، أومني أناليتكس
원제 · Don't Trust Your AI Agents. Test Them Like a Scientist — Stephanie Jarmak, Omni Analytics
핵심 요약
تقييم وكلاء الذكاء الاصطناعي يتطلب اختبارات مخصصة تعكس بيئة العمل الواقعية بدلاً من الاعتماد على المعايير العامة المخادعة.
하이라이트
تغيير التوجيه الأولي لأسلوب الوكيل وبرمجته أدى إلى خفض التكاليف بنسبة 28% دون أن يدفع الوكيل لاستخدام الأداة المطلوبة بالفعل.
تبديل الهيكل البرمجي وحده بين النماذج أحدث تفاوتاً في الفعالية بنسبة تزيد عن 30% على نفس المهام.
أعادت أداة البحث في الكود 295 ملفاً بينما كانت الحاجة الفعلية لا تتجاوز ستة ملفات فقط.
معدل الإنذار الكاذب بنسبة 1% في أنظمة المراجعة الآلية يولد عشرة آلاف مراجعة بشرية ترهق قدرات المؤسسة.
الفحوصات المبنية على سجلات التتبع الداخلية قد تعجز عن كشف المشكلات الأمنية المحقونة بخلاف السجلات المستقلة لحركة المرور.
타임라인
مخداع المعايير العامة وأهمية التقييم المخصص
تجربة اختبار وكيل البرمجة أظهرت أن تغيير الإرشادات الأولية يوفر في التكاليف لكنه يترك الوكيل عاجزاً عن استدعاء الأداة المخصصة. مقارنة أداء النماذج على معيار تيرمينال بينش أثبتت أن تبديل البنية أو الهيكل المفتوح يغير كفاءة التشغيل بصورة جذرية تتجاوز 30%. المعايير العامة تفيد في بناء قائمة مختصرة للاختيار، لكن الشركات تحتاج إلى قياسات مصممة خصيصاً لتناسب طبيعة مهامها وأعمالها اليومية.
- التعديلات الطفيفة في توجيه الوكيل تخفض التكاليف بنسبة 28% لكنها تفشل أحياناً في تغيير سلوك استخدام الأدوات.
- تغيير الهيكل المحيط بالنموذج يرفع الأداء بنسبة تفوق 30% على نفس المهام المعيارية.
- المعايير العامة تقدم نظرة واسعة النقطة لكنها لا تعكس أداء النماذج داخل بيئة العمل الفعلية.
منهجية اختبار المتغيرات وتتبع الأداء
بناء معايير دقيقة يتطلب اختيار مهام تمثل أحمال العمل الحقيقية عبر المراحل المختلفة لتطوير البرمجيات. نظراً لأن هذه الأنظمة غير حتمية وتظهر تبايناً مستمراً، فإن الاحتفاظ بسجلات التتبع الكاملة يتيح للمهندس تتبع مسار البيانات واكتشاف الأسباب الكامنة وراء عدم استخدام الأدوات المتاحة. المقارنة بين أدوات البحث المختلفة توضح تفاوت نسب الاسترجاع والدقة حسب الأهداف المحددة للعمل.
- تصميم الاختبارات يتطلب تغطية دورة حياة التطوير كاملة وليس فقط معالجة الأخطاء المعزولة.
- الأنظمة غير الحتمية تتطلب تتبع كافة مسارات التنفيذ لفهم سبب إخفاق الوكيل في استدعاء الأدوات.
- أدوات البحث قد تسترجع مئات الملفات غير الضرورية بينما المطلوب هو عدد محدود جداً.
إدارة المخاطر وبوابات الجودة والمراجعة البشرية
أتمتة مصانع البرمجيات تتطلب إيجاد آليات إيقاف صريحة عند ظهور مشكلات، مع موازنة عبء المراجعة البشرية لتجنب إغراق الخبراء بآلاف الإنذارات الكاذبة. فحوصات التجزئة وسجلات حركة المرور المستقلة تكشف الثغرات الأمنية التي يتجاوزها الوكيل في سجله الداخلي. الاعتماد على بيانات الإنتاج ومحاكاة بيئات الظل يتيح للمؤسسات تحديد مستويات المخاطر المقبولة وتفويض الوكلاء ضمن حدود آمنة واضحة.
- معدلات الإنذار الكاذب المنخفضة عددياً تتسبب في ضغط هائل على فرق المراجعة البشرية.
- سجلات التتبع الداخلية للوكيل قد تفشل في رصد المشكلات الأمنية المحقونة بخلاف التدقيق المستقل.
- الإنتاج هو المعيار النهائي لقياس القيمة وتحديد حدود الاستقلالية الآمنة للوكلاء.
설명
Stephanie Jarmak, a former astronomer who now builds evals at Omni Analytics after building a large coding benchmark at Sourcegraph, argues that most agent evaluations are easy to misread. She shows how swapping only the harness moved results by 30%, why public benchmarks are for shortlisting rather than decisions, and how to design your own evals like an experiment: realistic tasks, repeated runs, full traces and a measurement that matches what you care about. She also covers quality gates that actually stop work, the human review bottleneck, agent records you can't trust, and why production is the final test. Chapters: - 00:00 Intro - 01:11 When the agent ignores your tool - 02:47 The harness changes the results - 03:51 Public benchmarks vs. your own evals - 05:34 Designing evals like a scientist - 07:05 Trace the whole pipeline - 08:50 Choose what you measure - 09:48 Quality gates that actually stop work - 11:20 The human review bottleneck - 12:20 When the agent's record can't be trusted - 13:21 Production is truth - 15:05 When to escalate to a human Stephanie Jarmak, Omni Analytics: https://omni.co Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!