وكلاء يتحسنون ذاتياً أثناء نومك - فؤاد علي، أرايز إيه آي
원제 · Agents That Self Improve While You Sleep - Fuad Ali, Arize AI
핵심 요약
تكتمل حلقة التحسين الذاتي للوكلاء عندما يتولى وكيل المراقبة كشف الأخطاء من مسارات التتبع البرمجية واقتراح حلول واختبارها على مجموعات بيانات حية، مع قصر التدخل البشري على الحالات منخفضة الثقة ومراجعة التغييرات.
하이라이트
يقوم وكيل Signal بفحص مسارات تتبع الإنتاج دورياً كل ست ساعات أو بناءً على تنبيهات لتحديد أخطاء النظام واقتراح حلول برمجية لها.
تسبب عدم تطابق حالة الأحرف في استعلامات التصفية لدى وكيل Wonder Toys في تنفيذ ثلاث استدعاءات متتالية لنموذج اللغة ورفع زمن الاستجابة إلى 17 ثانية.
أثبتت تجربة اختبارية شملت حالات الفشل السابقة نجاح الإصلاح البرمجي المقترح بنسبة دقة بلغت 88.9% مع تجنب تراجع التقييمات الأخرى.
أدى توجيه 4.6% فقط من الحالات ذات درجات الثقة المنخفضة (بين 0.3 و 0.7) للمراجعة البشرية في اختبارات كشف الرسائل المزعجة إلى الحفاظ على دقة النظام بنسبة 99.5%.
توفر نماذج القرار بدائل تقييم حتمية ومنخفضة التكلفة وزمن استجابة أقل مقارنة باستدعاء نماذج لغوية تقليدية كاملة كحكام.
타임라인
تحديات اللاحتمية وصعوبة تتبع أخطاء الوكلاء
تتضاعف أنماط الفشل البرمجي مع انتشار الوكلاء الداخليين والخارجيين وصعوبة التنبؤ بسلوكياتهم. يؤدي غياب المراقبة إلى أخطاء فادحة في بيئات الإنتاج مثل تسعير منتجات وسيارات بمبالغ زهيدة دون قيود تنظيمية. تبدأ معالجة هذا الخلل بربط بيئة التطوير بمستودع الكود وتفعيل آليات الرصد الشامل عبر واجهات برمجية مخصصة.
- تنتج الأنظمة غير الحتمية أضعاف المشكلات الهندسية التقليدية نظراً لتعدد مسارات تنفيذ المهام.
- تتطلب مراقبة وكيل تجريبي مثل Wonder Toys توفير بيئة تشغيل مدعومة بمفاتيح منصات النماذج التوليدية وأدوات التتبع.
مراحل نضج هندسة موثوقية الوكلاء ودور Signal
يعجز المطورون البشريون عن قراءة آلاف مسارات التتبع يومياً لاكتشاف أسباب تعثر الوكلاء في الإنتاج. يتيح تمثيل الطلبات في هيئة أشجار بيانية فحص استدعاءات الأدوات وتحديد العوامل المسببة لتأخر الاستجابة بصورة دقيقة. تحول هذه الخطوة بيانات الفشل إلى اختبارات تراجع برمجية تمنع تكرار الأخطاء السابقة.
- يتدرج رصد الوكلاء من تسجيل المسارات إلى تشغيل التقييمات وإنشاء اختبارات تراجع دورية.
- تستخرج واجهة سطر الأوامر شجرة التتبع بالكامل بما يشمل زمن الاستجابة، والمدخلات، وعدد الرموز المستهلكة.
تحليل الأخطاء في الإنتاج وتوليد الحلول آلياً
كشف الفحص الآلي لمسارات تطبيق Wonder Toys عن وجود خلل في معالجة حالة الأحرف، حيث يمرر نموذج اللغة نصوصاً مفصولة بمسافات بينما تتطلب قاعدة البيانات حروفاً صغيرة مفصولة بشرطات. دفع هذا التعارض الوكيل إلى إعادة استدعاء محرك البحث لكل منتج على حدة وزيادة زمن الاستجابة بصورة حادة. ينشئ وكيل المراقبة طلباً برمجياً تلقائياً لحل المشكلة مع تغذية مجموعة البيانات بحالات الاختبار لضمان عدم عودتها.
- يقرأ وكيل Signal مسارات التتبع الحية ومستودعات GitHub لاكتشاف الأسباب الجذرية للأعطال.
- أدى تباين تنسيق أسماء التصنيفات بين نموذج اللغة وقاعدة البيانات إلى قفزة زمن الاستجابة إلى 17 ثانية.
- تنشئ المنصة تذكرة موحدة لكل مشكلة لمنع التكرار وتحويل الحالات الشاذة إلى اختبارات قياسية متطورة.
أنواع مقيمي الأداء ونقاط التدخل البشري
تعتمد الفحوصات البرمجية الصارمة على التأكد من سلامة ملفات JSON واستدعاء الأدوات بالوسائط المحددة بأقل تكلفة حسابية. تتولى نماذج اللغة إجراء تقييمات نوعية أعمق للمسارات المعقدة ولكن بتكلفة رموز أعلى، مما يفرض استخدام عينات جزئية فقط من مسارات الإنتاج. يركز التدخل البشري على تدقيق الكود في المجالات الحساسة وتحديد ما يمثل مخرجات مقبولة للنظام.
- تتنوع آليات التقييم بين فحوصات برمجية غير مكلفة، ونماذج لغوية كحكام، ونماذج اتخاذ قرار متخصصة.
- يقتصر الدور البشري الأعلى تأثيراً على مراجعة طلبات السحب واعتماد مجموعات البيانات وتصميم معايير الجودة.
التحقق بالتجارب وإغلاق حلقة التطوير
تتطلب البيئات غير الحتمية إعادة تشغيل حالات الفشل عبر النسخة البرمجية المعدلة لضمان استقرار الاستدعاءات وخفض زمن الاستجابة. تؤدي نماذج اتخاذ القرار دوراً حيوياً بتوفير درجات ثقة واضحة تتيح تصفية النتائج وحصر المراجعة البشرية في النطاقات الملتبسة. تحمي هذه الآلية ميزانية التشغيل وتضمن كفاءة ترقية الأنظمة دون الاعتماد على مراجعات يدوية كاملة.
- تتحقق التجارب المخبرية من صلاحية الإصلاح وعدم تسببه في تعطل وظائف أخرى بنسبة نجاح بلغت 88.9%.
- يضمن توجيه المخرجات منخفضة الثقة آلياً إلى المراجعين البشريين الحفاظ على دقة تشغيل تصل إلى 99.5%.
أتمتة المراقبة المستقبلية وإدارة عائد الاستثمار
يتحقق التوازن التشغيلي بتشغيل فحوصات التراجع الإلزامية ضمن مسارات التكامل المستمر، واستخدام أخذ العينات العشوائي في بيئة الإنتاج. تتيح المنصة إيقاف المقيمات ذات نسب النجاح شبه الكاملة لتوفير الرموز واستثمار الميزانية في المشكلات المستحدثة. تسهم حلقة التغذية الراجعة المغلقة في تسجيل كافة الأدلة والسياقات لتوجيه الوكلاء نحو إصلاح أنفسهم باستمرار.
- يدعم استوديو الوكلاء ربط أدوات خارجية مثل Datadog وبيئات تنفيذ معزولة عبر منصات متعددة.
- تتحدد جدوى تشغيل المقيمات في خطوط التطوير مقابل الإنتاج بحساب العائد المالي مقارنة بكلفة الفشل.
التقييم الذاتي وحدود الكفاءة التشغيلية
تخضع مسارات أدوات التحقيق الخاصة بوكيل المراقبة للتدقيق الذاتي لضمان دقة الإجراءات المتخذة وموثوقية تقارير المشكلات. يتوقف الاستثمار في التقييمات الآلية عندما تنحصر البيانات في نصوص الوكيل دون انعكاس فعلي لرضا العميل أو اكتمال المهمة. تتطلب إدارة تكاليف التطوير موازنة دقيقة بين مصادر السياق ومعدل أخذ العينات لضمان تحقيق أعلى عائد على الاستثمار.
- يستخدم وكيل Signal لمراقبة وتقييم أدائه الذاتي عبر تتبع سجلات تنفيذ أدواته الداخلية.
- تتناقص عوائد التقييم المستمر للوكلاء عند غياب معايير الحقيقة الأساسية الصادرة مباشرة من المستخدمين.
설명
In this workshop, Fuad Ali of Arize AI shows how to build a self-improvement loop for AI agents: trace everything, let Signal (an always-on agent) read your traces on a schedule and file deduplicated issues, turn failures into evals and living regression datasets, run experiments to prove a fix works, and keep humans at the highest-leverage points: eval design, dataset curation and reviewing fixes. He demos the loop on a toy-shopping agent with a planted bug and takes questions on evaluating qualitative output, decision models and cost. Chapters 00:00 Intro and workshop setup 05:42 Where is your team on the maturity curve? 07:39 The loop: trace, signal, eval, experiment, fix 08:46 Demo agent and tracing 12:15 Signal: an always-on agent reading your traces 16:11 Agent Studio and managed agents 18:31 Turning failures into datasets 20:32 Evals: code, LLM as a judge, decision models 24:48 Creating an eval from a Signal issue 27:01 Experiments: proving the fix works 31:12 Keeping humans in the loop 34:16 Toward a fully automated loop 40:16 Q&A: evaluating qualitative output 48:21 Q&A: decision models, data sources and cost Fuad Ali, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!