हमने बार-बार अपना AI एजेंट बनाया। देखिए क्या बचा रहा - फ़ुआद अली, एरीज़ AI
Original · We Kept Rebuilding Our AI Agent. Here's What Survived - Fuad Ali, Arize AI
Key Takeaway
एजेंट के प्रदर्शन को बेहतर बनाने के लिए भारी-भरकम एजेंट फ्रेमवर्क के बजाय हार्नेस कोड और सरल मार्कडाउन फ़ाइलों पर आधारित नियंत्रण अधिक प्रभावी होते हैं।
Highlights
एरीज़ एआई में दो साल के भीतर एलेक्स नामक इन-प्रोडक्ट प्रोडक्शन एजेंट को शिप करने और विकसित करने के अनुभवों को साझा किया गया है।
वर्ष 2023 के अंत में बनाए गए पहले प्रोटोटाइप में लगभग 50% मतिभ्रम और 50% उपयोगी परिणाम मिलते थे।
एजेंट के लिए जटिल गणितीय गणनाओं को मॉडल से बाहर निकालकर हार्नेस कोड में स्थानांतरित किया गया है।
दीर्घकालिक स्मृति के लिए जटिल ज्ञान ग्राफ़ और वेक्टर स्टोर के बजाय प्रति उपयोगकर्ता केवल 8,000 वर्णों तक सीमित एक मार्कडाउन फ़ाइल का उपयोग किया जाता है।
उत्पादन सत्रों को एजेंट के परीक्षण मामलों और जीवित फिक्स्चर के रूप में उपयोग किया जाता है।
Timeline
एरीज़ एआई का एजेंट 'एलेक्स' और उसकी विकास समयरेखा
एरीज़ एआई में प्रोडक्ट पर काम करने वाले फुआद अली ने अपने इन-प्रोडक्ट एजेंट एलेक्स के विकास और उससे जुड़े अनुभवों के बारे में विस्तार से बताया है। शुरुआत में इस एजेंट का प्रदर्शन काफी सीमित था, लेकिन बेहतर मॉडलों और हार्नेस कोड में निरंतर सुधार के साथ इसकी क्षमताओं में लगातार वृद्धि हुई है। मेटा रूप से, इस एजेंट को डीबग करने के लिए खुद इसी एजेंट और सिग्नल का उपयोग किया जाता है।
- एलेक्स ट्रेस पढ़ने, निष्कर्षों को परीक्षणों में बदलने और बहु-चरण वाले कार्यों को चलाने का काम करता है।
- वर्ष 2023 के अंत में इसके पहले प्रोटोटाइप संस्करण में लगभग 50% मतिभ्रम की समस्या थी।
- अगस्त 2025 में इसके टूल कॉलिंग और टू-डू टूल को फिर से लिखा गया, और फरवरी 2026 में एलेक्स 2.0 लॉन्च किया गया।
योजना निर्माण और टू-डू सूचियों से जुड़े सबक
शुरुआती दौर में एजेंट को कार्यों की सूची सौंपने पर यह देखा गया कि वह उपयोगी काम करने के बजाय केवल सूचियों को अपडेट करने में ही संसाधन खर्च कर रहा था। इन समस्याओं से निपटने के लिए हार्नेस कोड के माध्यम से एक समय में एक चरण की योजना बनाने की प्रणाली को लागू किया गया, जिससे मॉडल का भटकाव कम हुआ और दक्षता में सुधार हुआ।
- मॉडल को सीधे टू-डू सूचियां देने पर वह अधिकांश समय सूचियों की जाँच करने में ही व्यतीत कर देता है।
- कई टूल कॉल के बाद मॉडल अपना ध्यान खो देता है, जिसके कारण टू-डू टूल पर 20 से अधिक बार पुनरावृत्ति करनी पड़ी।
- अंत में हार्नेस द्वारा स्थिति और पूर्णता की जांच की जाती है, और मॉडल केवल अगली प्रक्रिया को पूरा करता है।
मोड़ की समाप्ति, मेमोरी प्रबंधन और दीर्घकालिक स्मृति
अत्यधिक बड़े टूल परिणामों के कारण संदर्भ विंडो भर जाती थी, जिससे एजेंट के लिए काम करना कठिन हो जाता था। इस समस्या को हल करने के लिए बड़े परिणामों को फ़ाइल के रूप में सहेजकर केवल आवश्यक पॉइंटर्स रखे गए हैं। इसके अलावा, दीर्घकालिक स्मृति के लिए अत्यधिक इंजीनियरिंग से बचते हुए प्रति उपयोगकर्ता केवल 8,000 वर्णों की एक मार्कडाउन फ़ाइल का उपयोग किया गया है जिसे पृष्ठभूमि जॉब द्वारा प्रबंधित किया जाता है।
- खुली योजना वस्तुओं के साथ बाउंस होने वाली एक स्पष्ट फिनिश कॉल को लागू किया गया है।
- बड़े टूल परिणामों और JSON ब्लॉब को छोटा करके एजेंट कोड को JQ के माध्यम से खोजने की अनुमति दी जाती है।
- दीर्घकालिक स्मृति के लिए जटिल ज्ञान ग्राफ़ को हटाकर प्रति उपयोगकर्ता एक छोटी मार्कडाउन फ़ाइल का उपयोग किया जाता है।
विशेषज्ञ एजेंटों का सरलीकरण, मॉडल चयन और परीक्षण
विभिन्न पृष्ठों के लिए अलग-अलग उप-एजेंट बनाने के बजाय एक एकीकृत एजेंट को प्राथमिकता दी गई जो मांग के अनुसार अपने कौशल और टूल लोड कर सके। एजेंट प्रणालियों में बग अक्सर स्पष्ट त्रुटियों के रूप में सामने नहीं आते हैं, बल्कि विलंबता या अत्यधिक टूल कॉल्स जैसे गुणात्मक रूपों में दिखाई देते हैं। इसलिए, उत्पादन सत्रों और मानव न्यायाधीशों की मदद से निरंतर परीक्षण और मूल्यांकन प्रक्रिया को जारी रखा जाता है।
- अनेक विशेषज्ञ उप-एजेंटों के उपयोग को वापस लेकर एक ऐसे एकल एजेंट का उपयोग किया गया जो मांग पर कौशल लोड करता है।
- प्रत्येक नया और सबसे बड़ा मॉडल डिफ़ॉल्ट रूप से हमेशा सबसे अच्छा नहीं होता है, इसलिए गति और गुणवत्ता का संतुलन जरूरी है।
- उत्पादन सत्रों को प्रतिगमन डेटासेट और परीक्षण मामलों के रूप में उपयोग किया जाता है।
Description
Arize's in-product agent Alex went from a 2023 prototype that was "50% hallucination" to a single agent with planning, memory and on-demand skills, all built with custom harness code instead of a framework. AI PM Fuad Ali covers each decision: moving the plan into the harness, making "finish" an explicit gate, treating large tool results like files, why one 8,000-character memory file per user beat vector stores and knowledge graphs, merging 10 specialists into one agent, and using production sessions as tests. Chapters: 0:00 Intro 0:53 Agents all the way down 2:56 What Alex does 4:15 Timeline: 2023 to 2026 6:19 Who owns the plan? 8:33 What ends a turn? 9:44 Memory: treat big results like files 12:10 One small file beat a knowledge graph 13:33 Specialists vs. one agent 14:13 The newest model isn't always best 15:28 Production sessions as tests 17:46 What still needs a human 18:31 What survived every rebuild Fuad Ali https://arize.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!