दिमाग बनाम हाथ: प्रोडक्शन में AI एजेंटों को सुरक्षित रूप से कैसे चलाएं — विरेन बारैया
원제 · Brains vs Hands: How to Run AI Agents Safely in Production — Viren Baraiya
핵심 요약
प्रोडक्शन में AI एजेंटों को सुरक्षित रूप से चलाने के लिए LLM द्वारा अनिर्धारित योजना बनाने और निर्धारित हार्नेस द्वारा कार्य निष्पादित करने के बीच स्पष्ट विभाजन होना अनिवार्य है।
하이라이트
सुरक्षित और प्रभावी प्रोडक्शन एजेंट अनुप्रयोग बनाने के लिए अनिर्धारित योजना (LLM/दिमाग) और निर्धारित निष्पादन (हार्नेस/हाथ) का स्पष्ट विभाजन आवश्यक है।
प्रोडक्शन एजेंट केवल चैटबॉट तक सीमित नहीं हैं; वे पृष्ठभूमि में चलने वाले वर्कफ़्लो, इवेंट-संचालित सिस्टम और लंबे समय तक चलने वाले कोऑर्डिनेटर के रूप में काम करते हैं।
हार्नेस एक निर्धारित कोड का टुकड़ा है जो निष्पादन, ह्यूमन-इन-द-लूप अप्रूवल, आइडम्पोटेंसी और साइड-इफेक्ट प्रबंधन की गारंटी देता है।
एजेंटिक हार्नेस वास्तव में 'लेट-बाउंड सागा' (late-bound sagas) की तरह काम करते हैं, जहाँ टूल और कार्यों के सेट निर्धारित होते हैं लेकिन एजेंट रनटाइम पर योजना बनाता है।
कंडक्टर जैसे ओपन-सोर्स वर्कफ़्लो ऑर्केस्ट्रेशन प्लेटफॉर्म का उपयोग करके मल्टी-स्टेप एजेंटिक लूप और वर्कफ़्लो को सुरक्षित रूप से चलाया जा सकता है।
타임라인
हेलो वर्ल्ड से परे: प्रोडक्शन में AI एजेंटों का विस्तार
सत्र की शुरुआत में प्रोडक्शन में एजेंटों के वास्तविक उपयोग पर चर्चा की गई। शुरुआती उदाहरण साधारण टूल-कॉलिंग और चैटबॉट्स तक सीमित थे। हालांकि, वास्तविक प्रोडक्शन सिस्टम में इवेंट-संचालित एजेंट, बैकग्राउंड प्रोसेस और लंबे समय तक चलने वाले ऑर्केस्ट्रेटर शामिल होते हैं जो लॉग्स और अलर्ट्स पर प्रतिक्रिया देते हैं।
- एजेंटों का उपयोग केवल साधारण चैटबॉट्स तक सीमित नहीं है।
- उत्पादन वातावरण में बैकग्राउंड वर्कर्स, इवेंट-संचालित एजेंट और मल्टी-एजेंट कोऑर्डिनेटर शामिल हैं।
- एक ही एजेंट पर बहुत अधिक जिम्मेदारियाँ डालने से मतिभ्रम (hallucinations) का जोखिम बढ़ता है।
हार्नेस बनाम एजेंट: एप्लिकेशन आर्किटेक्चर और माइक्रोसर्विस की समानता
एजेंटिक सिस्टम का डिज़ाइन पारंपरिक माइक्रोसर्विस आर्किटेक्चर के समान है जहाँ घटक एकल जिम्मेदारी के सिद्धांतों का पालन करते हैं। हार्नेस सिस्टम के निर्धारित भागों (जैसे भुगतान या क्लस्टर रीस्टार्ट) का प्रबंधन करता है, जबकि LLM सोच और योजना बनाने का अनिर्धारित हिस्सा संभालता है।
- एजेंट हार्नेस एक तरह का एप्लिकेशन है जो माइक्रोसर्विस की तरह काम करता है।
- अनिर्धारित तर्क (LLM) और निर्धारित वर्कफ़्लो का संयोजन स्थिरता सुनिश्चित करता है।
- लंबे समय तक चलने वाली प्रक्रियाओं में नेटवर्क विफलता से निपटने के लिए स्थायित्व (durability) बुनियादी आवश्यकता है।
दिमाग बनाम हाथ: योजना और निष्पादन का पृथक्करण
सिस्टम की सुरक्षा के लिए अनिर्धारित AI मॉडल और निर्धारित निष्पादन इंजन के बीच का अंतर महत्वपूर्ण है। LLM केवल यह तय करता है कि आगे क्या कदम उठाने हैं, जबकि हार्नेस आइडम्पोटेंसी, सुरक्षा जांच और साइड इफेक्ट्स को नियंत्रित करते हुए निष्पादन को पूरा करता है। यह दृष्टिकोण पारंपरिक वर्कफ़्लो सागा को अधिक लचीला और अनुकूलन योग्य बनाता है।
- LLM की जिम्मेदारी केवल योजना बनाना (दिमाग) है, वास्तव में काम करना नहीं।
- हार्नेस नियतिवादी कोड (हाथ) है जो सुरक्षित निष्पादन और मानव अनुमोदन सुनिश्चित करता है।
- एजेंटिक हार्नेस लेट-बाउंड सागा की तरह कार्य करते हैं जो रनटाइम पर कदम का प्रस्ताव करते हैं।
SRE एजेंट डेमो और conductor प्लेटफ़ॉर्म का परिचय
एक व्यावहारिक SRE एजेंट डेमो के माध्यम से दिखाया गया कि कैसे AI पहले समस्या के मूल कारण का विश्लेषण करता है, फिर निष्पादन के लिए बहु-चरणीय योजना प्रस्तुत करता है। यह योजना 'प्लान एंड कंपाइल' टूल के माध्यम से कंडक्टर वर्कफ़्लो में परिवर्तित होकर निष्पादित होती है। अंतिम चरण में कंडक्टर प्लेटफ़ॉर्म की क्षमताओं और एकीकरण की जानकारी दी गई।
- SRE एजेंट समस्याओं का निदान करने के बाद एक बार में बहु-चरणीय वर्कफ़्लो योजनाएँ बनाता है।
- कंडक्टर जैसे ऑर्केस्ट्रेशन प्लेटफॉर्म इन वर्कफ़्लो को सुरक्षित रूप से निष्पादित करते हैं।
- एजेंट लूप आवश्यकतानुसार पुनरावृत्ति करता है और पुरानी कार्रवाइयों को दोहराने से बचता है।
설명
Let the model decide what should happen next. Never let it improvise how a production cluster gets restarted. Viren Baraiya, co-founder and CTO of Orkes and the original creator of Netflix Conductor, explains how to run agents in production. Real agents aren't just chatbots: they run on schedules, react to events, coordinate other agents and can run for months, so the harness around them starts to look like an application, much like a set of microservices. His key idea is a clean split between the brain and the hands. The LLM plans what should happen next; a deterministic, durable harness does the actual work, with approval gates, idempotent steps and recorded side effects. He frames agent harnesses as late-bound sagas, workflows the agent assembles at runtime, and demos an SRE agent whose plan is compiled into a Conductor workflow, executed, checked and re-planned over two loops. In this talk: • Background, scheduled, event-driven and long-running agents • Why the harness is the application, mixing deterministic and non-deterministic parts • The brain and the hands: the LLM plans, the harness executes • Demo: an SRE agent's plan compiled into a durable workflow SPEAKER Viren Baraiya, Co-founder & CTO, Orkes X: https://x.com/virenbaraiya LINKS Orkes: https://orkes.io Orkes on X: https://x.com/orkesio CHAPTERS 0:00 Intro 0:47 Who runs agents in production? 1:12 Beyond the hello-world agent 1:52 Background, scheduled and event-driven agents 2:27 Coordinators and multi-agent systems 3:02 Agents are applications, not components 3:12 Lessons from microservices 4:22 The harness is the application 5:02 Deterministic and non-deterministic parts 6:02 Harnesses run for seconds or months 6:41 Durability is table stakes 7:26 How the loop works 8:21 The agent plans, the harness executes 9:21 Human approval gates 9:41 Idempotency and side effects 9:56 The brain and the hands 10:21 Agent harnesses as late-bound sagas 11:21 Every possible branch 11:51 Demo: an SRE agent 13:31 Compiling the plan into a workflow 14:16 Demo: the second loop 15:56 Conductor, open source Recorded at the AI Engineer World's Fair 2026 in San Francisco. Subscribe for more talks from the engineers building with AI. AI Engineer: https://ai.engineer YouTube: https://www.youtube.com/@aiDotEngineer X: https://x.com/aiDotEngineer LinkedIn: https://www.linkedin.com/company/aidotengineer/ #AIAgents #WorkflowOrchestration #AIEngineer