एजेंट्स जो आपके सोते समय खुद को बेहतर बनाते हैं - फुआद अली, एरीज़ एआई
원제 · Agents That Self Improve While You Sleep - Fuad Ali, Arize AI
핵심 요약
Arise का सिग्नल एजेंट प्रोडक्शन ट्रेसेस की विफलताओं से स्वचालित रूप से इवैल्यूएशन बनाता है, कोड फिक्स के साथ GitHub PR तैयार करता है, और 88.9% टेस्ट पास होने के साक्ष्य के साथ सेल्फ-इम्प्रूवमेंट लूप पूरा करता है।
하이라이트
सिग्नल हर छह घंटे के डिफ़ॉल्ट शेड्यूल पर या 10 सेकंड से अधिक लेटेंसी स्पाइक अलर्ट पर प्रोडक्शन ट्रेसेस का विश्लेषण शुरू करता है।
प्रोडक्शन बग में लोअरकेस हाइफ़नेटेड स्लग और टाइटल-केस्ड इनपुट के बीच बेमेल के कारण सर्च टूल तीन बार अनावश्यक रीट्राई कर रहा था, जिससे लेटेंसी बढ़कर 14 से 17 सेकंड तक पहुँच गई।
कोडिंग हार्नेस ने छह मिनट के भीतर सोर्स कोड और ट्रेसेस से मूल कारण का पता लगाकर GitHub पर सुधारात्मक पुल रिक्वेस्ट तैयार की।
विफलता मामलों के लाइव डेटासेट पर V2 सुधार को री-रन करने पर 88.9% सफलता सीमा प्राप्त हुई।
डिसीजन मॉडल के कॉन्फिडेंस स्कोर के जरिए 0.3 से 0.7 स्कोर वाले 4.6% कम-विश्वास मामलों को मानव एनोटेशन के लिए रूट किया जाता है, जिससे बाकी सिस्टम 99.5% सटीकता पर चलता है।
타임라인
एजेंट की अनिश्चितता और विफलता निगरानी की समस्या
सॉफ्टवेयर इंजीनियरिंग में सुबह 4 बजे PagerDuty अलर्ट आना एक क्लासिक समस्या है, लेकिन अनिश्चित एजेंटों के मामले में यह विफलता दस गुना जटिल हो जाती है। कनाडा में एक कार डीलरशिप बॉट द्वारा 5 डॉलर में प्रियस बेचने जैसी घटनाएं ऐसे अप्रत्याशित जोखिमों का उदाहरण हैं। वंडर टॉयज नामक चैट-आधारित ई-कॉमर्स एजेंट के माध्यम से इस समस्या और इसके समाधान के पूरे चक्र का व्यावहारिक विश्लेषण किया गया है।
- एजेंटों के गैर-निर्णायक (non-deterministic) व्यवहार के कारण प्रोडक्शन सिस्टम अप्रत्याशित रूप से टूटते हैं।
- हज़ारों आंतरिक और ग्राहक-सामना करने वाले एजेंटों के कारण आने वाले विशाल शोर को मैन्युअल रूप से देखना असंभव है।
- ट्रेस और ग्राहक फीडबैक का उपयोग करके स्वचालित सेल्फ-इम्प्रूवमेंट लूप का निर्माण आवश्यक है।
ट्रेसिंग मैच्योरिटी के चरण और स्वचालित एसआरई
एजेंट इंजीनियरिंग परिपक्वता को पाँच चरणों में वर्गीकृत किया जाता है: ट्रेसिंग, मूल्यांकन (इवैल्स), ट्रेस विश्लेषण, विफलता डेटासेट का निर्माण, और अंत में स्वचालित सुधार को प्रयोगों द्वारा साबित करना। ओपन-सोर्स AX CLI और प्रमुख एजेंट फ्रेमवर्क के ऑटो-इंस्ट्रूमेंटर्स टूल कॉल के इनपुट, आउटपुट, मेटाडेटा और विलंबता को पूरे ट्री में कैप्चर करते हैं। यह व्यवस्थित डेटा ही स्वचालित सुधार प्रणाली के लिए मुख्य इनपुट का काम करता है।
- सिस्टम निगरानी में पूर्ण ट्रेस ट्री देखना पहला चरण है और स्वचालित सुधार अंतिम चरण है।
- लाखों अनुरोधों वाले सिस्टम में किसी भी इंसान के लिए हर एक विफलता ट्रेस को पढ़ना असंभव है।
- विफलताओं को रिग्रेशन टेस्ट और जीवंत फिक्स्चर के रूप में सहेजने से एक ही गलती दोबारा होने से बचती है।
सिग्नल द्वारा स्वचालित बग डिटेक्शन और GitHub PR निर्माण
वंडर टॉयज एजेंट में उत्पाद श्रेणियां लोअरकेस हाइफ़नेटेड स्लग में थीं, जबकि भाषा मॉडल टाइटल केस और रिक्त स्थान के साथ मान भेज रहा था। इस सामान्यीकरण बग के कारण टूल को शून्य परिणाम मिले, जिससे मॉडल ने हर उत्पाद को खोजने के लिए लगातार तीन एलएलएम कॉल किए। सिग्नल ने ट्रेस क्लस्टर का विश्लेषण करके बिना किसी मानव हस्तक्षेप के सीधे कोड रिपॉजिटरी में आवश्यक सुधार के साथ PR तैयार किया।
- सिग्नल हर छह घंटे में प्रोडक्शन ट्रेसेस की समीक्षा करके समस्याओं को क्लस्टर करता है।
- स्लग फॉर्मेट बेमेल के कारण सर्च टूल बार-बार विफल हुआ और लेटेंसी बढ़कर 17 सेकंड तक चली गई।
- एजेंट ने छह मिनट में मूल कारण पहचानकर GitHub पर सुधार के साथ एक पुल रिक्वेस्ट खोली।
जीवंत फिक्स्चर और मूल्यांकन डिज़ाइन
पारंपरिक यूनिट टेस्ट कोड शिप करने से पहले स्थिर रहते हैं, लेकिन जीवंत फिक्स्चर प्रोडक्शन की हर नई विफलता के साथ खुद को बड़ा करते हैं। अनावश्यक खोज पुनरावृत्ति की जाँच के लिए एक स्वचालित प्रॉम्प्ट बनाया जाता है जो पूरे ट्रैजेक्टरी का निरीक्षण करता है और दोहराए गए सर्च कॉल्स को फ़्लैग करता है। जैसे ही यह विफलता कोडबेस में स्थायी रूप से संहिताबद्ध हो जाती है, टोकन लागत बचाने के लिए उत्पादन से उस विशेष इवैल्यूएटर को हटाया जा सकता है।
- उत्पादन विफलताओं को डेटासेट में जोड़कर जैविक रूप से बढ़ने वाले 'जीवंत फिक्स्चर' तैयार होते हैं।
- कोड-आधारित चेक्स सस्ते और निर्धारक होते हैं, जबकि एलएलएम-एज़-ए-जज गुणात्मक विश्लेषण संभालते हैं।
- डिटेक्ट की गई समस्या से सीधे एक क्लिक में नया स्वचालित मूल्यांकन टेम्प्लेट बनाया जा सकता है।
प्रयोगों द्वारा सुधार का सत्यापन और मानव की भूमिका
एजेंट द्वारा प्रस्तावित सुधार को बिना सत्यापन के उत्पादन में नहीं डाला जा सकता क्योंकि गैर-डिटर्मिनिस्टिक सिस्टम में साइड-इफेक्ट्स का जोखिम होता है। AX CLI के माध्यम से विफलता डेटासेट पर V2 एजेंट को पुनः चलाकर लेटेंसी और टूल रीट्राई में सुधार मापा जाता है। उच्च जोखिम वाले परिदृश्यों में मनुष्य पीआर समीक्षा, इवैल्यूएशन डिज़ाइन और कम-विश्वास वाले आउटपुट को एनोटेट करने के निर्णायक बिंदु पर मूल्य जोड़ते हैं।
- सिस्टम प्रॉम्प्ट में किया गया छोटा बदलाव अन्य असंबद्ध टूल्स को अप्रत्याशित रूप से तोड़ सकता है।
- विफलता मामलों के लाइव फिक्स्चर पर V2 सुधार चलाकर 88.9% सफलता सीमा हासिल की गई।
- 0.3 से 0.7 कॉन्फिडेंस स्कोर वाले 4.6% संदिग्ध मामलों को मानव समीक्षा के लिए ऑटो-रूट किया जाता है।
एंड-टू-एंड लूप का भविष्य और इवैल्यूएशन आरओआई
भविष्य की दृष्टि शून्य मानवीय हस्तक्षेप के साथ समस्या से प्रयोग तक 'वन-क्लिक' सत्यापन प्रवाह स्थापित करने की है। यदि 0.1% विफलता विनाशकारी है, तो उसे सीआई/सीडी पाइपलाइन में पकड़ना आर्थिक रूप से आवश्यक हो जाता है, जबकि उत्पादन में केवल नियंत्रित सैंपलिंग लागू की जानी चाहिए। संपूर्ण लूप तभी प्रभावी बनता है जब ट्रेस साक्ष्य, इवैल्यूएशन स्कोर और मानव एनोटेशन एक ही प्लेटफ़ॉर्म में दर्ज होकर अगले रन के लिए समृद्ध संदर्भ प्रदान करते हैं।
- महंगे 100% लाइव ट्रेस मूल्यांकन के बजाय सीआई/सीडी रिग्रेशन और सैंपलिंग दर का संतुलन आरओआई को सुरक्षित रखता है।
- सिग्नल के स्वयं के ट्रेसेस पर भी सिग्नल चलाकर मेटा-मूल्यांकन किया जाता है।
- सिस्टम की निगरानी और स्वचालित सुधार की लागत हमेशा मुख्य एजेंट के परिचालन मूल्य से कम होनी चाहिए।
설명
In this workshop, Fuad Ali of Arize AI shows how to build a self-improvement loop for AI agents: trace everything, let Signal (an always-on agent) read your traces on a schedule and file deduplicated issues, turn failures into evals and living regression datasets, run experiments to prove a fix works, and keep humans at the highest-leverage points: eval design, dataset curation and reviewing fixes. He demos the loop on a toy-shopping agent with a planted bug and takes questions on evaluating qualitative output, decision models and cost. Chapters 00:00 Intro and workshop setup 05:42 Where is your team on the maturity curve? 07:39 The loop: trace, signal, eval, experiment, fix 08:46 Demo agent and tracing 12:15 Signal: an always-on agent reading your traces 16:11 Agent Studio and managed agents 18:31 Turning failures into datasets 20:32 Evals: code, LLM as a judge, decision models 24:48 Creating an eval from a Signal issue 27:01 Experiments: proving the fix works 31:12 Keeping humans in the loop 34:16 Toward a fully automated loop 40:16 Q&A: evaluating qualitative output 48:21 Q&A: decision models, data sources and cost Fuad Ali, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!