كيف تختبر وكلائك على مهام حقيقية باستخدام Harbor - زاندر سونغ، Arize AI
원제 · How to Test Your Agents on Real Tasks With Harbor - Xander Song, Arize AI
핵심 요약
يمكّن إطار Harbor المطورين من تقييم وتحسين منظومات الوكلاء الذكية بالاعتماد على أدلة رقمية ومكافآت ثنائية مستخرجة من بيئات معزولة بدلاً من التخمين.
하이라이트
يعتمد إطار Harbor على بيئات Docker معزولة ومحاكاة افتراضية لتقييم الوكلاء وفق التأثيرات الجانبية الفعلية الناتجة.
يوفر دمج حلول الأوراكل المرجعية (Oracle) وسيلة للتحقق من سلامة البيئة ونصوص المدققات قبل استهلاك رموز النماذج اللغوية المدفوعة.
يتيح تشغيل التجارب بالتوازي عبر مزود بيئات معزولة مثل Daytona تنفيذ الاختبارات بسرعة بوجود 200 عامل متزامن.
يسجل معيار ATIF مسارات اتخاذ القرار للوكلاء عبر تنسيق JSON لتحويلها إلى OpenTelemetry عبر مواصفات OpenInference.
يؤدي توجيه الوكيل لاستخدام استعلامات SQL للقراءة فقط المباشرة بدلاً من GraphQL والتجزئة إلى تقليص عدد استدعاءات الأدوات وتكاليف التشغيل.
타임라인
مفهوم Harbor وآلية التقييم المبني على الأدلة
يركز الإطار على التخلص من التخمين عند إطلاق التحديثات عبر اختبار الوكلاء على بيانات ومهام حقيقية. تجري مراقبة المخرجات النهائية دون التأثر بالبنية الداخلية للوكيل، مما يمنح المطورين يقيناً واضحاً بشأن جدوى التعديلات البرمجية.
- يحدد إطار Harbor مهاماً واقعية بتعليمات لغة طبيعية داخل بيئات معزولة.
- تنتج المدققات مكافآت ثنائية مثل صفر أو واحد للتحقق من التأثير الجانبي المقصود.
- يتيح تثبيت المهام والمدققات قياس تحسن أو تراجع أداء الوكيل بدقة عند تعديل بنيته البرمجية.
الهيكلية التقنية للمهام والمدققات وحلول الأوراكل
تُبنى كل تجربة داخل حاوية Docker جديدة كلياً لضمان الحياد التام وعدم تداخل البيانات. تتولى المدققات كتابة المكافأة النهائية في ملف reward.txt بمجرد إتمام الوكيل لمهمته، بينما تُستخدم ملفات ATIF لتسجيل المسارات وتحليل الأخطاء الداخلية للنماذج.
- تتكون المهمة من ملف تعليمات بصيغة Markdown وملف بيئة بصيغة Dockerfile ونصوص اختبارات برمجية.
- يعالج تشغيل تجارب متعددة لكل مهمة طبيعة النماذج اللغوية العشوائية وغير الحتمية.
- يضمن دمج نصوص الأوراكل البرمجية جاهزية خط الاختبار والبيانات قبل إطلاق الوكلاء وتكبد تكاليف الحوسبة.
- تجمع مواصفة ATIF خطوات الوكلاء وتفاصيل استدعاءات الأدوات ضمن ملفات JSON لتسهيل الفحص والتتبع.
نموذج عملي واختبار التأثيرات الجانبية
يترك الوكيل تعديلاته على ملفات النظام وقاعدة البيانات، ثم تبدأ المدققات بفحص الجداول والأعمدة والرموز المتبقية للتأكد من انتهاء المهمة بنجاح مع كود الحالة صفر. يعامل هذا الأسلوب الوكيل كصندوق أسود، مما يسمح بإعادة هيكلة الأدوات والتعليمات دون كسر معايير النجاح.
- يختبر الإطار قدرة وكيل البرمجة على معالجة ترحيل قواعد بيانات فاشل داخل البيئة المعزولة.
- تتصل أدوات التحقق بالحاوية بعد انتهاء الوكيل لقطع الطريق أمام أي محاولة غش عبر قراءة نصوص الاختبار.
- تفصل المدققات تماماً بين منطق التنفيذ والآثار المتروكة على الملفات وقواعد البيانات على غرار اختبارات التكامل.
التوسع الأفقي والتكامل مع منظومة Phoenix
يتحقق التوسع عبر توزيع مئات التجارب بالتوازي على بيئات افتراضية معزولة لقياس مؤشرات الأداء الإجمالية على مستوى مجموعات البيانات الكاملة. توفر منصة Phoenix واجهات رسومية لتتبع تطور المكافآت، وفحص السجلات، وإدارة إصدارات البيانات والتجارب بمرور الوقت.
- تسمح استقلالية الحاويات بتشغيل متزامن واسع النطاق على منصات مثل Daytona بقدرة تصل إلى 200 عامل.
- يحسب مقياس النجاح عند k قدرة الوكيل على حل المهمة خلال عدد محدد من المحاولات المستقلة.
- تربط مواصفة OpenInference مسارات ATIF ببروتوكول OpenTelemetry لتحليل البيانات بصرياً عبر منصة Phoenix.
هندسة النظام واختبار الواجهات المتعددة
تحتوي صورة الحاوية على خادم التطبيق والبيانات وكافة النصوص التنفيذية المنسقة مسبقاً. يقوم Harbor بتوجيه الوكيل المختار لتنفيذ المهمة المطلوبة ثم يطلق نصوص التحقق للتأكد من تعديل البيانات المستهدفة في قاعدة SQLite دون الحاجة لمحاكاة معقدة.
- يدعم النظام ثلاثة مسارات للتفاعل: سطر الأوامر (CLI)، وخادم بروتوكول سياق النموذج (MCP)، ووكيل الخادم Pixie.
- يسهل تشغيل الخادم على عقدة واحدة تعبئته بالكامل داخل حاوية Docker مع قاعدة بيانات SQLite واقعية.
- يعمل برنامج Harbor كأداة تنسيق على الجهاز المضيف أو ضمن GitHub Actions لإدارة الحاويات وتشغيل النصوص.
تحسين استدعاء الأدوات والاستعلامات التجميعية
استخدم الفريق أسئلة اصطناعية مولدة بواسطة Claude ومثبتة بحلول أوراكل مسبقة لاختبار أثر التوجيه الجديد. أظهرت النتائج انخفاضاً مباشراً في متوسط عدد استدعاءات الأدوات وتفضيل الوكيل للغة SQL على التجزئة اليدوية عبر GraphQL، مع الحفاظ على دقة الإجابات.
- أدت استفسارات التجميع الإحصائي عبر GraphQL إلى إرهاق الوكلاء بكثرة استدعاءات التجزئة وتصفح الصفحات.
- تتيح إضافة أداة SQL للقراءة فقط للوكيل تنفيذ الحسابات المعقدة مباشرة على قاعدة البيانات.
- يضمن تعديل نصوص التوجيه (Prompt) ترجيح استعلامات SQL للاستفسارات التجميعية وتقليص استهلاك الأدوات.
- تنتج حلول الأوراكل المصطنعة إجابات حتمية وثابتة للتحقق من صحة المدققات وتوفير الجهد البشري.
تحليل الأداء المقارن وإدارة اختبارات المهارات
يوفر التحليل المقارن في Phoenix رؤية واضحة حول كفاءة الوكيل واختصار المراحل المتعددة إلى مرحلة واحدة عند الاعتماد على الأداة المناسبة. لا يقتصر التقييم على النماذج اللغوية المجردة، بل يختبر كامل البنية التحتية المحيطة من مهارات وخوادم MCP لضمان استقرار المسارات الناجحة عبر مختلف النماذج.
- تكشف المقارنة بين التجارب انخفاض استدعاءات GraphQL وتناقص الخطوات التشغيلية للوكيل.
- يسمح فحص مسار التنفيذ بالتأكد من استدعاء مهارات محددة دون الاكتفاء بمطابقة النتيجة النهائية.
- تستهدف اختبارات الانحدار المنظومة الهجينة المتكاملة التي تجمع النموذج والواجهات والمهات المخصصة ككتلة واحدة.
- يمثل جمع وتجهيز بيانات SQLite الواقعية التحدي الأكبر لضمان كشف المشكلات الحقيقية للتطبيقات.
설명
Xander Song, an engineer at Arize AI who works on Phoenix, introduces Harbor, an open source framework for evaluating agents on realistic tasks with real data in isolated sandboxes. He explains tasks, Docker environments, verifiers and rewards, trials and jobs, oracles that validate your setup before you spend tokens, and ATIF trajectories. Then he shows how his team runs Harbor at scale on Daytona and with Phoenix to test a prompt change that steered agents toward a new SQL tool, cutting tool calls without hurting correctness. Chapters 00:00 Intro: shipping on evidence, not vibes 01:28 What Harbor is 03:37 Architecture: tasks, environments, verifiers 06:08 Trajectories, jobs and oracles 07:58 Example: fixing a failing migration 10:48 Verifiers as black-box integration tests 14:21 Running at scale in parallel sandboxes 17:04 Harbor with Phoenix 20:37 How the Phoenix team uses Harbor 25:07 Q&A: how Harbor orchestrates runs 29:24 Q&A: complex systems and data size 33:21 Case study: steering agents to a SQL tool 38:34 Demo: datasets and experiments in Phoenix 44:10 Demo: comparing jobs task by task 48:31 Regression tests and skills Xander Song, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!