अपने एजेंट को टूल्स देना बंद करें। उसे एक सैंडबॉक्स दें - मिक्यो किंग, एरीज़ एआई
원제 · Stop Giving Your Agent Tools. Give It a Sandbox - Mikyo King, Arize AI
핵심 요약
कोड मोड एजेंटों को एक प्रोग्रामिंग वातावरण और सैंडबॉक्स देकर टोकन की खपत 43% तक कम करता है और लागत में 31% की कटौती करता है.
하이라이트
कोड मोड एजेंटों को पारंपरिक टूल कैटलॉग के बजाय एक प्रोग्रामिंग वातावरण प्रदान करता है, जिससे वे एक ही टर्न में कई टूल्स को निष्पादित कर सकते हैं.
कोड मोड अपनाने से टोकन की मात्रा 43% कम हो गई और लागत 31% तक घट गई.
एजेंटों को बैश, पायथन सैंडबॉक्स, REST CRUD एंडपॉइंट्स और SQL जैसी क्षमताएं देने से जटिल कार्य आसानी से हल होते हैं.
पारंपरिक टूल कॉलिंग के विपरीत, कोड मोड संदर्भ विंडो की सूजन (context decay) को रोकता है और केवल आवश्यक डेटा ही मॉडल तक पहुंचाता है.
सैंडबॉक्स वातावरण में एजेंटों का मूल्यांकन करने के लिए हार्बर फ्रेमवर्क और verifiers का उपयोग किया जाता है.
타임라인
कोड मोड का परिचय और पारंपरिक टूल कॉलिंग की समस्याएं
मिकियो एरीज़ एआई के ओपन-सोर्स ग्रुप का नेतृत्व करते हैं और उन्होंने कोड मोड की अवधारणा को समझाया है। पारंपरिक तरीके से जब एजेंट बार-बार टूल्स को कॉल करते हैं, तो संदर्भ विंडो में कचरा भर जाता है और सिस्टम की दक्षता कम हो जाती है.
- सॉफ्टवेयर विकास में तकनीकी और गैर-तकनीकी के बीच की सीमा अब कोडिंग एजेंटों द्वारा समाप्त की जा रही है.
- पारंपरिक एजेंटों को टूल्स का एक बड़ा कैटलॉग दिया जाता है, जिससे संदर्भ विंडो में सूजन और संदर्भ क्षय जैसी समस्याएं आती हैं.
- पारंपरिक टूल कॉलिंग से विलंबता, लागत और टर्न की संख्या बढ़ती है.
कोड मोड कैसे काम करता है और इसके लाभ
कोड मोड के जरिए मॉडल केवल वही डेटा सहेजता है जो उसकी संदर्भ विंडो के लिए आवश्यक है। इससे टोकन की बचत होती है और जटिल कार्य जैसे व्यक्तिगत रूप से पहचान योग्य जानकारी को हटाना आसान हो जाता है.
- कोड मोड एजेंट को विशिष्ट टूल खोजने और उन्हें क्रमिक या समानांतर रूप से निष्पादित करने की प्रोग्रामिंग क्षमता देता है.
- यह प्रगतिशील टूल खुलासे (progressive disclosure) की अनुमति देता है और एक ही टर्न में कई टूल्स को कॉल कर सकता है.
- यह उभरते हुए व्यवहार (emergent behavior) को अनलॉक करता है, जिससे एजेंट अपने स्वयं के उपकरण और समाधान बना सकते हैं.
एरीज़ एआई में कोड मोड का कार्यान्वयन
एरीज़ एआई ने अपने प्लेटफॉर्म में विभिन्न टूल्स जैसे बैश, पायथन और SQL को एकीकृत किया है। इससे एजेंटों को डेटा सेट में हेरफेर करने और सटीक परिणाम खोजने में मदद मिलती है.
- फीनिक्स प्लेटफॉर्म के भीतर बैश, पायथन सैंडबॉक्स, REST CRUD एंडपॉइंट्स और SQL लिखने की क्षमता जोड़ी गई है.
- SQL का उपयोग करने से एजेंट सीधे LLM स्पैन और ट्रेसेज़ को आसानी से खोज सकते हैं बिना सभी डेटा के माध्यम से पेजनेट किए.
- वेब वर्कर में प्रोग्रामिंग प्रतिमान का उपयोग करके जटिल यूआई इंटरैक्शन भी किए जाते हैं.
चुनौतियां और खुली समस्याएं
कोड मोड पूरी तरह से मुफ्त नहीं है क्योंकि इसमें सीपीयू, मेमोरी, नेटवर्क और सुरक्षा जैसी परिचालन जटिलताओं से निपटना पड़ता है। डीबग करना भी कठिन हो जाता है क्योंकि व्यक्तिगत टूल के बजाय पूरे कोड को डीबग करना पड़ता है.
- एलएलएम द्वारा उत्पन्न कोड, संसाधन प्रबंधन, नेटवर्क इग्रिस और सैंडबॉक्स के भीतर सीक्रेट्स सुरक्षित रखना बड़ी चुनौतियां हैं.
- अनुमतियों की जटिलता और दोहरी सैंडबॉक्सिंग (dual sandboxing) ऑपरेशनल जटिलता को बढ़ाते हैं.
- ड्यूरेबिलिटी और बाइनरी या छवियों को सैंडबॉक्स से बाहर निकालने जैसी समस्याएं अभी भी बनी हुई हैं.
मूल्यांकन और परिणाम
विभिन्न परीक्षणों से यह साबित हुआ कि कोड मोड पारंपरिक तरीकों की तुलना में अधिक कुशल है। इससे लागत और टोकन दोनों की बचत होती है जबकि लेटेंसी स्थिर रहती है.
- हार्बर फ्रेमवर्क और verifiers का उपयोग करके एजेंटों को सैंडबॉक्स वातावरण में कई बार परखा जाता है.
- कोड मोड लागू करने के बाद टोकन की मात्रा में 43% की कमी और लागत में 31% की कटौती दर्ज की गई.
- यह मूल्यांकन डेटा एजेंटों के व्यवहार को मजबूत करने और उनकी दक्षता में सुधार करने में मदद करता है.
설명
Classic tool-calling agents fill their context with tool catalogs and raw outputs. Code mode gives the agent a sandbox and lets it search for and compose tools in code, returning only what it needs. Mikyo King, head of open source at Arize AI, explains why code mode works, how Arize built it into Phoenix (Bash, a Python sandbox, SQL and even UI control), its hidden costs (secrets, permissions, durability, double sandboxing), and how Harbor evals showed 43% fewer tokens and 31% lower cost. Chapters: 0:00 Intro 0:36 The line between engineers and everyone else is dissolving 1:52 The classic tool-calling agent 3:03 What is code mode? 4:37 Why code mode works 6:11 How Phoenix uses code mode 8:19 The hidden costs of code mode 10:42 Open problems 11:44 Evaluating code mode with Harbor 12:55 Results: 43% fewer tokens, 31% lower cost 13:59 Takeaways Mikyo King https://arize.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!