हारबर के साथ वास्तविक कार्यों पर अपने एजेंट्स का परीक्षण कैसे करें - ज़ेंडर सॉन्ग, एरीज़ एआई
원제 · How to Test Your Agents on Real Tasks With Harbor - Xander Song, Arize AI
핵심 요약
हार्बर कार्यान्वयन-अज्ञेय वेरिफ़ायर्स और सैंडबॉक्स किए गए डॉकर वातावरण के माध्यम से एजेंट्स और उनके सहायक इंफ्रास्ट्रक्चर का वास्तविक डेटा पर व्यवस्थित मूल्यांकन सुनिश्चित करता है.
하이라이트
हार्बर एक ओपन-सोर्स फ्रेमवर्क है जो डॉकर सैंडबॉक्स में वास्तविक डेटा और प्राकृतिक भाषा निर्देशों के आधार पर एआई एजेंट्स का मूल्यांकन करता है.
एजेंट द्वारा वातावरण में परिवर्तन करने के बाद वेरिफ़ायर स्क्रिप्ट्स परिणाम की जाँच करके 0 या 1 जैसा बाइनरी रिवार्ड उत्पन्न करती हैं.
ओरेकल समाधान स्क्रिप्ट्स किसी एजेंट पर टोकन खर्च किए बिना डेटा, सैंडबॉक्स वातावरण और वेरिफ़ायर्स की सटीकता सत्यापित करती हैं.
डेफ़ॉल्ट स्थानीय निष्पादन के दौरान धोखाधड़ी रोकने के लिए वेरिफ़ायर्स और समाधान एजेंट का निष्पादन समाप्त होने के बाद ही कंटेनर में माउंट होते हैं.
डेयटोना जैसे सैंडबॉक्स प्रदाताओं पर 200 समवर्ती वर्कर्स के साथ स्वतंत्र डॉकर ट्रायल्स चलाकर pass@k जैसे कुल मेट्रिक्स की त्वरित गणना संभव है.
हार्बर के ATIF ट्रेसिंग विनिर्देश को ओपनटेलिमेट्री आधारित ओपन इन्फेरेंस प्रारूप में बदलकर फीनिक्स यूआई में टूल कॉल्स और लेटेंसी का विश्लेषण किया जाता है.
타임라인
हार्बर का परिचय और मूल्यांकन सिद्धांत
एजेंट के कार्यान्वयन कोड में बदलाव करते समय कार्यों और वेरिफ़ायर्स को स्थिर रखा जाता है। इससे यह स्पष्ट संकेत मिलता है कि कोड परिवर्तन से कार्य प्रदर्शन में सुधार हुआ है या गिरावट आई है। कई कार्यों का संकलन पूरे एजेंट की क्षमताओं का एक व्यापक परीक्षण सूट तैयार करता है।
- एआई एजेंट्स को केवल धारणाओं या वाइब्स के बजाय वास्तविक साक्ष्यों के आधार पर शिप करना आवश्यक है.
- हार्बर प्राकृतिक भाषा में परिभाषित कार्यों और वास्तविक डेटा के साथ एजेंट्स को एक अलग सैंडबॉक्स में निष्पादित करता है.
- वेरिफ़ायर्स एजेंट द्वारा वातावरण में छोड़े गए प्रभावों की जाँच करके पास या फेल जैसा रिवार्ड देते हैं.
हार्बर का आर्किटेक्चर, वेरिफ़ायर्स और ओरेकल
सैंडबॉक्स में विफलता को दर्शाने वाला माइग्रेशन और वास्तविक एसक्यूएल डेटा सीड किया जाता है। एजेंट को फ़ाइलों को संपादित करने की छूट दी जाती है और धोखाधड़ी रोकने के लिए वेरिफ़ायर्स को केवल एजेंट के पूरा होने पर ही माउंट किया जाता है। यह ब्लैक-बॉक्स परीक्षण मॉडल एकीकरण परीक्षणों की तरह काम करता है, जिससे एजेंट के आंतरिक कोड को ग्रीन में रीफैक्टर करना संभव होता है।
- प्रत्येक कार्य एक मार्कडाउन निर्देश फ़ाइल, डॉकर वातावरण और परीक्षण वेरिफ़ायर स्क्रिप्ट्स से मिलकर बनता है.
- ओरेकल स्क्रिप्ट्स एजेंट को चलाने से पहले पाइपलाइन की कमियों, डेटा और वेरिफ़ायर्स को बिना टोकन खर्च किए परखती हैं.
- वेरिफ़ायर्स एजेंट के आंतरिक निष्पादन के प्रति अज्ञेय रहते हैं और केवल सिस्टम पर पड़े साइड इफेक्ट्स को मापते हैं.
सैंडबॉक्स स्केलेबिलिटी और फीनिक्स एकीकरण
अलग-अलग एजेंट्स जैसे क्लॉड कोड और कोडेक्स को समान प्रारंभिक स्थिति वाले कंटेनर्स में समानांतर परीक्षणों के अधीन किया जाता है। ओपनटेलिमेट्री मानकों पर आधारित ओपन इन्फेरेंस ट्रेसिंग एलएलएम कॉल्स और टूल कॉल्स के प्रत्येक आंतरिक चरण को कैप्चर करती है। यह डेटा वर्शनिंग, प्रयोग ट्रैकिंग और लेटेंसी विश्लेषण को संभव बनाता है।
- स्वतंत्र डॉकर कंटेनर्स के कारण पूरी पाइपलाइन डेयटोना जैसे प्लेटफ़ॉर्म पर 200 समवर्ती वर्कर्स तक क्षैतिज रूप से स्केल होती है.
- एजेंट्स के स्टोकेस्टिक व्यवहार को मापने के लिए कई ट्रायल्स चलाकर pass@k जैसे सांख्यिकीय मेट्रिक्स निकाले जाते हैं.
- हार्बर के एटीआईएफ ट्रेसिंग डेटा को ओपन इन्फेरेंस प्रारूप में बदलकर फीनिक्स में प्रयोगों को विज़ुअलाइज़ किया जाता है.
उत्पादन आर्किटेक्चर और डॉकर वातावरण सेटअप
परीक्षण व्यवस्था में सीएलआई, एमसीपी सर्वर और पिक्सी नामक सर्वर-साइड एजेंट को एक साथ रखा जाता है। हार्बर पूर्वनिर्धारित फ़ाइल पथों पर मौजूद स्क्रिप्ट्स के आधार पर कार्य निष्पादन, वेरिफ़ायर और ओरेकल रन को व्यवस्थित करता है। यदि सिस्टम वितरित हो तो पूर्ण डेटाबेस के बजाय आवश्यक सब-फ़ील्ड्स और स्थिर एपीआई सीमाओं को अलग करके परीक्षण सुगम बनाया जाता है।
- फीनिक्स बैकएंड सिंगल नोड पर चलता है, जिससे संपूर्ण सर्वर और एसक्यूलाइट डेटा को डॉकर इमेज में पैक करना आसान होता है.
- हार्बर होस्ट मशीन या सीआई रनर पर सीएलआई ऑर्केस्ट्रेटर के रूप में चलता है और कंटेनर के भीतर स्क्रिप्ट्स को ट्रिगर करता है.
- मूल्यांकन के दौरान वास्तविक प्रोडक्शन ओटीएलपी इनजेशन को बंद करके सीधे डेटाबेस फ़ाइलों का उपयोग किया जाता है.
टूल कॉल अनुकूलन और व्यावहारिक केस स्टडी
सत्यापनकर्ताओं ने पुष्टि की कि प्रॉम्प्ट अपडेट के बाद एजेंट ने सीधे डेटाबेस पर एसक्यूएल क्वेरी चलाई, जिससे औसत टूल कॉल्स और टर्न काउंट में गिरावट आई। शुद्धता परीक्षणों के विपरीत इस अनुकूलन परीक्षण में वेरिफ़ायर ने जानबूझकर ट्रेस के अंदर झाँककर एसक्यूएल के उपयोग की पुष्टि की। इस प्रकार के ट्रेस-निर्भर परीक्षण विशिष्ट टूल अनुकूलन के लिए उपयोगी साबित होते हैं।
- एग्रीगेट प्रश्नों पर रेस्ट और ग्राफक्यूएल के माध्यम से अत्यधिक पेजिनेशन टूल कॉल्स की संख्या को अनावश्यक रूप से बढ़ा देता है.
- एमसीपी सर्वर में रीड-ओनली एसक्यूएल टूल जोड़कर और सिस्टम प्रॉम्प्ट को अपडेट करके सीधे प्रश्नों का समाधान किया गया.
- क्लाउड द्वारा जनरेट किए गए सिंथेटिक प्रश्नों और ओरेकल समाधानों ने एजेंट परीक्षण से पहले वेरिफ़ायर्स की शुद्धता स्थापित की.
ट्रेस तुलना, स्किल मूल्यांकन और अंतिम निष्कर्ष
ट्रेस तुलना से पता चलता है कि पहले बैश एमुलेटर के माध्यम से ग्राफक्यूएल कॉल करने वाला एजेंट अब सीधे एसक्यूएल का उपयोग कर रहा है। स्किल्स के आपसी टकराव और एक्टिवेशन की जाँच एकल-टर्न परीक्षणों द्वारा ट्रेस देखकर की जा सकती है। वास्तविक डेटा जितना अधिक सटीक होगा, एजेंट की व्यवहारिक समस्याओं को पकड़ना और उन्हें ठीक करना उतना ही आसान हो जाता है।
- फीनिक्स यूआई जॉब्स के बीच टूल कॉल्स, टर्न संख्या और आउटपुट का टास्क स्तर पर सीधा तुलनात्मक दृश्य प्रदान करता है.
- हार्बर का प्राथमिक लक्ष्य अकेले कोडिंग मॉडल का नहीं, बल्कि मॉडल, एमसीपी सर्वर और कस्टम स्किल्स के पूरे हाइब्रिड सिस्टम का परीक्षण करना है.
- एजेंट मूल्यांकन की सबसे बड़ी चुनौती परीक्षण के लिए यथार्थवादी और प्रासंगिक डेटा एकत्र करना है.
설명
Xander Song, an engineer at Arize AI who works on Phoenix, introduces Harbor, an open source framework for evaluating agents on realistic tasks with real data in isolated sandboxes. He explains tasks, Docker environments, verifiers and rewards, trials and jobs, oracles that validate your setup before you spend tokens, and ATIF trajectories. Then he shows how his team runs Harbor at scale on Daytona and with Phoenix to test a prompt change that steered agents toward a new SQL tool, cutting tool calls without hurting correctness. Chapters 00:00 Intro: shipping on evidence, not vibes 01:28 What Harbor is 03:37 Architecture: tasks, environments, verifiers 06:08 Trajectories, jobs and oracles 07:58 Example: fixing a failing migration 10:48 Verifiers as black-box integration tests 14:21 Running at scale in parallel sandboxes 17:04 Harbor with Phoenix 20:37 How the Phoenix team uses Harbor 25:07 Q&A: how Harbor orchestrates runs 29:24 Q&A: complex systems and data size 33:21 Case study: steering agents to a SQL tool 38:34 Demo: datasets and experiments in Phoenix 44:10 Demo: comparing jobs task by task 48:31 Regression tests and skills Xander Song, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!