إصلاح الوكيل الخاص بك أدى للتو إلى تعطيل شيء آخر - صوفيا ياكوفسيفيتش، Arize AI
원제 · Your Agent Fix Just Broke Something Else - Sofia Jakovcevic, Arize AI
핵심 요약
تتطلب إدارة تغييرات وكلاء الذكاء الاصطناعي اعتماد مجموعات بيانات وتقييمات رقمية مستمرة بدلاً من الاعتماد على التعديلات الحدسية.
하이라이트
تفشل أنظمة الوكلاء أثناء وقت التشغيل وليس على مستوى الكود البرمجي الثابت.
يؤدي تعديل سطر واحد في موجه النظام الخاص بوكيل الدعم إلى تحسين سلامة الإجراءات بمقدار 17 نقطة مقابل تراجع قدره 17 نقطة في إتمام المهام.
تعتمد عملية بناء حلقة الانحدار على خمس خطوات تبدأ من اختيار مجموعة بيانات الإنتاج الحقيقية وتمر عبر أدوات التقييم لتنتهي بالأتمتة داخل نظام التكامل المستمر.
تتحول المراقبة المستقبلية من تتبع البشر لأداء الوكلاء إلى تمكين الوكلاء من تصحيح أخطاء أنفسهم وتحسينها ذاتياً.
تتيح مهارات الوكلاء لبرمجيات التطوير الاتصال بالبيانات الخارجية وسد الفجوة بين الشفرة الساكنة وسجلات الإنتاج الفعلية.
타임라인
أسباب فشل وكلاء الذكاء الاصطناعي وصعوبة التنبؤ بسلوكهم
يواجه مطورو أنظمة الذكاء الاصطناعي صعوبة في التنبؤ بسلوك الوكلاء نظراً لأن منطقهم لا يكتب يدوياً بل يتشكل أثناء وقت التشغيل الفعلي. يوضح مثال وكيل الدعم كيف أن إضافة شرط للتأكيد قبل تنفيذ الإجراءات يحسن أمان النظام ولكنه يتسبب في ترك المهام غير مكتملة، مما يثبت خطورة إجراء التعديلات بناءً على الحدس البشري دون استناد إلى درجات ومقاييس تقييم رقمية دقيقة.
- تعمل أنظمة المراقبة مثل أرايز على كشف غموض الصندوق الأسود لوكلاء الذكاء الاصطناعي.
- تحدث إخفاقات الوكلاء في بيئة الإنتاج ووقت التشغيل بدلاً من ظهورها على مستوى الكود البرمجي.
- ينتج عن تعديل سطر واحد في موجه النظام تأثيرات متضاربة تحلل أداء الوكيل بمقدار صافٍ قدره صفر.
الخطوات الخمس لبناء حلقة اختبارات الانحدار والتقييم
تتضمن عملية إنشاء حلقة الانحدار اختيار مجموعة بيانات ممثلة لعمليات التشغيل الفعلية وتتضمن الأخطاء السابقة وحالات النجاح المستهدفة بالحماية. يتم استخدام نماذج اللغة كأداة تقييم لتوليد درجات كمية تفيد في قياس كفاءة الأدوات والهلوسة وإنجاز المهام، ثم يتم أتمتة هذه التجربة داخل أنظمة التكامل المستمر لمنع دمج أي شيفرة لا تستوفي معايير الأداء المحددة.
- تبدأ حلقة الانحدار بسحب بيانات الإنتاج الحقيقية وتضمين الحالات الحدية وإخفاقات التشغيل.
- تعتمد أدوات التقييم على النماذج اللغوية الكبيرة كحكام لتحويل المقاييس الذاتية إلى درجات رقمية واضحة.
- تتيح واجهة المنصة إجراء تجارب متوازية للموجهات والوكلاء المتعددين وربطها بمسارات التكامل المستمر.
إغلاق الحلقة الذاتية ومستقبل مراقبة الوكلاء
تعتمد المرحلة المتقدمة في هندسة الوكلاء على إغلاق حلقة التحسين بسرعات آلية من خلال ربط وكلاء البرمجة بنظام المراقبة. تتحول كل عملية إخفاق في الإنتاج إلى اختبار جديد يمنع تكرار الخطأ، بينما يتجه مستقبل الأنظمة نحو تزويد الوكلاء بالأدوات اللازمة لتحقيق التحسين الذاتي والتحقيق الفوري في المشكلات دون الحاجة لتدخل بشري مستمر.
- تربط مهارات الوكلاء برمجيات التطوير بالبيانات الخارجية لتوحيد الشفرة مع سجلات الإنتاج.
- تتحول حالات الفشل المتكررة إلى حالات اختبار جديدة تضاف تلقائياً لمجموعة اختبارات الانحدار.
- ينتقل التركيز في المراقبة الحديثة من الفحص البشري إلى قدرة الوكلاء على تصحيح أخطائهم بأنفسهم.
설명
A one-line prompt change made a support agent 17 points safer and 17 points worse at finishing tasks. Sofia Jakovcevic, forward deployed engineer at Arize AI, explains why agents fail at runtime rather than in code, and walks through a five-step regression loop built from production traces: curate datasets, score with evaluators, run baseline experiments, compare changes, and gate merges in CI. Then she shows how to close the loop at agent speed, with coding agents that read traces and fix themselves. Chapters 00:00 Intro: observability for agents 01:08 The real problem: fixes that break other things 02:26 A one-line prompt change: +17 and -17 04:48 Agents fail at runtime, not in code 06:25 The five-step regression loop 06:48 Step 1: Build datasets from production traces 07:50 Step 2: Score with evaluators 09:48 Steps 3-4: Baseline experiments and comparisons 11:14 Step 5: Gate merges in CI 11:48 Demo: experiments in Arise 15:38 Using coding agents and skills 16:12 Closing the loop at agent speed Sofia Jakovcevic, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!