एक AI इंजीनियर अब क्या करता है? - अपर्णा धिनाकरन, एरीज़ AI
원제 · What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI
핵심 요약
एक आधुनिक एआई इंजीनियर का मुख्य काम व्यक्तिगत फीचर्स लिखना नहीं, बल्कि हमेशा चालू रहने वाले एजेंट्स और टेलीमेट्री लूप्स का निर्माण करना है जो सिस्टम की समस्याओं को खुद पहचानकर सुधार सकें।
하이라이트
लगभग 5,000 उपयोगकर्ता फ्रंटियर लैब्स में एक साथ हजारों एजेंट्स को संचालित करते हैं।
एआई इंजीनियर की भूमिका अब केवल एआई फीचर लिखने तक सीमित नहीं है, बल्कि यह सिस्टम और एजेंट्स के लिए लूप तैयार करने से संबंधित है।
Signal एक हमेशा चालू रहने वाला एजेंट है जो सभी ट्रेसेज़ और टेलीमेट्री डेटा को पढ़कर समस्याओं की पहचान करता है और आवश्यकतानुसार पुल रिक्वेस्ट (PR) भेजता है।
एजेंट के रन के दौरान सभी संदर्भों और रिपॉजिटरी की पहुंच को एक सुरक्षित सैंडबॉक्स के भीतर रखा जाता है।
एआई इंजीनियरों के लिए उत्पादन में भेजने से पहले और बाद में दोनों समय मॉडल की गुणवत्ता और लागत को नियंत्रित करने हेतु मूल्यांकन (Evaluations) चलाना अनिवार्य होता है।
타임라인
एआई इंजीनियर की बदलती परिभाषा और कर्पाथी का फ़नल
एआई तकनीक के विकास के साथ ही सॉफ्टवेयर निर्माण के स्तर में तेजी से बदलाव आया है। उच्च स्तरीय भाषाओं और स्थानीय एजेंट्स के उपयोग से आगे बढ़कर अब इंजीनियरों को एजेंट्स की एक पूरी टीम या फैक्ट्री आंतरिक रूप से संचालित करने की दिशा में काम करना पड़ रहा है।
- एआई इंजीनियर की भूमिका लगातार बदल रही है और अमूर्तता की परतें समय के साथ ऊपर उठती गई हैं।
- करपाथी के अनुसार, दुनिया भर में लाखों-करोडों लोग एलएलएम का उपयोग करते हैं, लेकिन केवल लगभग 5,000 उपयोगकर्ता फ्रंटियर लैब्स में हजारों एजेंट्स को एक साथ चला रहे हैं।
एजेंट लूप और Signal का उपयोग
उत्पादन प्रणालियों में टेलीमेट्री डेटा का उपयोग अब इंसानों के बजाय हमेशा चालू रहने वाले एजेंट्स द्वारा प्राथमिक रूप से किया जाता है। Signal जैसे टूल्स लगातार अंतराल पर ट्रेसेज़ की जांच करते हैं, पुरानी समस्याओं का इतिहास याद रखते हैं और विफलता की स्थिति में अपनी स्थिति को सुरक्षित रखते हुए फिर से शुरू हो सकते हैं।
- एआई इंजीनियर अब बिल्ड, इval, शिप और मॉनिटरिंग जैसे चरणों को पूरा करने वाला एक संपूर्ण लूप तैयार करते हैं।
- Signal टेलीमेट्री डेटा और ट्रेसेज़ को पढ़कर स्वचालित रूप से समस्याओं की पहचान करता है और कोड में सुधार के लिए पीआर (PR) डालता है।
- एजेंट के प्रत्येक रन के दौरान सभी क्रेडेंशियल और रिपॉजिटरी एक्सेस को एक सुरक्षित सैंडबॉक्स में रखा जाता है जिसे बाद में हटा दिया जाता है।
मॉडल मूल्यांकन और भविष्य की दिशा
उत्पादन में जाने वाले एजेंट्स और उनके पीछे काम करने वाले कोडिंग एजेंट्स दोनों को ट्रैक करना आवश्यक है। निरंतर मूल्यांकन और डेटा विश्लेषण के माध्यम से सिस्टम खुद को बेहतर बनाता है, जिससे एआई इंजीनियर व्यक्तिगत फीचर्स बनाने के बजाय संपूर्ण उत्पादक प्रणालियों का निर्माण करने में सक्षम होते हैं।
- एआई इंजीनियरों को यह सीखना जरूरी है कि एजेंट द्वारा किए गए कार्यों का परीक्षण करने के लिए सटीक मूल्यांकन कैसे लिखे जाएं।
- ऑफलाइन और ऑनलाइन दोनों प्रकार के मूल्यांकन यह सुनिश्चित करते हैं कि एआई मॉडल मानवीय निर्णय के साथ संरेखित रहें और लागत नियंत्रित रहे।
- व्यवसायों का गंदा डेटा और लैब के नियंत्रित वातावरण के बीच के अंतर को पाटने की जिम्मेदारी एआई इंजीनियर निभाते हैं।
설명
Aparna Dhinakaran of Arize AI revisits what an AI engineer actually does as the field moves from writing features to running factories of agents. The job now is building the loop: evals that review non-deterministic work, telemetry that agents consume, and agents that act on it. She walks through how Arize built Signal, an always-on agent that reads traces, remembers past issues and opens PRs, covering triggers, sandboxes, durable state, and evaluating the evaluators. Chapters 00:00 Intro: what does an AI engineer do? 00:38 Karpathy's funnel: who's running thousands of agents 01:45 Rising abstraction, from code to agent factories 02:23 Then vs now: build the loop, not the feature 03:31 Signal: an always-on agent for your traces 04:45 Agents are now the main consumers of telemetry 05:19 What triggers an always-on agent 06:01 Inside a run: context, sandbox, proxy 07:11 What persists and what gets torn down 08:13 Designing durable agents 09:14 Model and harness agnostic 10:21 Writing evals, and evaluating the evaluators 12:48 Trace everything, including your coding agents 14:17 Closing the gap between labs and businesses Aparna Dhinakaran, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!