300 एजेंट्स, 60 लोग: हमने अपने खुद के AI एजेंट्स को कैसे सुरक्षित किया - एडेन सोखोव्स्की, रनलेयर
원제 · 300 Agents, 60 People: How We Secured Our Own AI Agents - Aiden Sochowski, Runlayer
핵심 요약
कंपनियों के भीतर अनियंत्रित और अत्यधिक अनुमत एआई एजेंट डेटा सुरक्षा, अनपेक्षित त्रुटियों और बेकाबू लागत का बड़ा जोखिम पैदा करते हैं, जिनकी निगरानी और नियंत्रण के लिए केंद्रीय गेटवे और विशिष्ट नीतियों की आवश्यकता होती है।
하이라이트
50 से 60 कर्मचारियों वाली कंपनी रनलेयर में हर दिन 300 से अधिक एआई एजेंट सक्रिय रूप से चलते हैं।
एजेंटों के अप्रबंधित और अत्यधिक अनुमत होने के कारण संगठनों के भीतर डेटा सुरक्षा का जोखिम तेزی से बढ़ जाता है।
खराब तरीके से लिखे गए एमसीपी सर्वर और बार-बार आने वाली त्रुटियों के कारण टोकन लागत में भारी वृद्धि होती है।
आंतरिक मॉडल सत्र के डेटा और टूल कॉल्स का विश्लेषण करके एजेंटों को उनकी निर्धारित सीमाओं से बाहर जाने से रोकते हैं।
타임라인
कंपनियों में एआई एजेंटों की अदृश्यता और बढ़ती संख्या
कंपनियों में लोग स्थानीय रूप से एमसीपी क्लाइंट और अप्रबंधित उपकरणों का उपयोग कर रहे हैं जिनका कोई केंद्रीय हिसाब नहीं रखा जाता है। रनलेयर टीम ने इस समस्या से निपटने के लिए आंतरिक रूप से निगरानी शुरू की और पाया कि कर्मचारियों की संख्या की तुलना में एआई एजेंटों की संख्या काफी अधिक है। ये एजेंट पुरानी प्रणालियों और विभिन्न डेटा स्रोतों को आपस में जोड़ते हैं, जिससे पारंपरिक प्रोग्रामिंग की तुलना में सुरक्षा का जोखिम कई गुना बढ़ जाता है।
- अधिकांश कंपनियों को अपने क्लाइंट्स या आंतरिक रूप से चल रहे एआई एजेंटों की कोई दृश्यता नहीं होती है।
- 50-60 लोगों की कंपनी रनलेयर में प्रतिदिन 300 से अधिक एजेंट संचालित होते हैं।
- पारंपरिक सॉफ्टवेयर की तुलना में एआई एजेंट डेटा के विभिन्न वर्गों को मिलाकर जोखिम को तेजी से बढ़ाते हैं।
एजेंटों के लिए सुरक्षा नीतियां और इनबाउंड-आउटबाउंड खतरे
विभिन्न सपोर्ट डेटा और ईमेल के माध्यम से आने वाले निर्देश एजेंटों को भ्रमित कर सकते हैं। उदाहरण के लिए, कोई बाहरी हमलावर ईमेल भेजकर संभावित ग्राहकों की सूची मांग सकता है और यदि एजेंट अधिक अनुमत है, तो वह संवेदनशील डेटा बाहर निकाल सकता है। हालांकि हर संभावित परिदृश्य के लिए गेटवे नीतियां बनाना मुश्किल है, फिर भी वर्गीकरण मॉडल और नियमित अभिव्यक्तियों की मदद से इनबाउंड और आउटबाउंड ट्रैफ़िक की जांच की जाती है।
- दुर्भावनापूर्ण ईमेल और प्रॉम्प्ट इंजेक्शन के जरिए एजेंट संवेदनशील डेटा को अनजाने में बाहर भेज सकते हैं।
- हर एक टूल कॉल और परिदृश्य के लिए सख्त नियम या नीतियां परिभाषित करना बेहद कठिन प्रक्रिया है।
- वर्गीकरण मॉडल और नियमित अभिव्यक्तियों का उपयोग करके संवेदनशील डेटा या PAI के रिसाव को रोका जा सकता है।
सत्र के दौरान होने वाले जोखिम और आंतरिक वर्गीकरण मॉडल
कई हमले या विचलन केवल एक टूल कॉल में नहीं बल्कि पूरे सत्र के दौरान होते हैं। उदाहरण के लिए, कोड समीक्षा करने वाला एजेंट बार-बार अनुरोध मिलने पर सुरक्षा जांच को अनदेखा करके पीआर स्वीकृत कर सकता है। इस समस्या से निपटने के लिए आंतरिक मॉडल यह जांचते हैं कि एजेंट अपने निर्धारित कार्यों से भटक तो नहीं रहा है। रिक्रूटिंग बॉट जैसे एजेंटों के व्यापक दायरे को सीमित करने के लिए पिछले इतिहास और टूल कॉलों का लगातार विश्लेषण किया जाता है।
- एजेंटों के पास गिटहब पुलर और कोड समीक्षा जैसे संवेदनशील कार्यों की अनुमति होना बड़े खतरे पैदा कर सकता है।
- रनलेयर ने ऐसे क्लासिफायर मॉडल प्रशिक्षित किए हैं जो यह तय करते हैं कि टूल कॉल एजेंट के मूल उद्देश्य से मेल खाते हैं या नहीं।
- भर्ती बॉट जैसे एजेंटों के पास एटीएस, कैलेंडर और मीटिंग नोट्स तक पहुंच होती है, जिससे उच्च जोखिम वाले रन उत्पन्न होते हैं।
एमसीपी सर्वर की त्रुटियां और एआई उपयोग की बढ़ती लागत
गैर-तकनीकी कर्मचारियों द्वारा वाइب-कोडेड किए गए एमसीपी सर्वर अक्सर स्वरूपण समस्याओं के कारण बार-बार त्रुटियां उत्पन्न करते हैं, जिससे इनपुट और आउटपुट टोकन की लागत में भारी वृद्धि होती है। इसके अलावा, बेहतर मॉडलों पर स्विच करने से उद्यमों में खर्च अनियंत्रित हो जाता है। इन सभी समस्याओं का एकमात्र समाधान सही निगरानी उपकरण रखना, उच्च जोखिम वाली गतिविधियों का शुरुआती चरण में पता लगाना और आंतरिक नीतियों के अनुसार डिफ़ॉल्ट बजट तय करना है।
- खराब तरीके से लिखे गए एमसीपी सर्वर बार-बार त्रुटियां देते हैं, जिससे टोकन की खपत और लागत बढ़ती है।
- सस्ते मॉडल से महंगे एआई मॉडल पर स्विच करने से कंपनियों का खर्च एक हफ्ते में सौ गुना से ज्यादा बढ़ जाता है।
- उचित निगरानी उपकरणों और बजट नियंत्रण के बिना आंतरिक गतिविधियों को नियंत्रित करना असंभव है।
설명
Runlayer is a company of about 60 people running 300+ agents every day. Founding engineer Aiden Sochowski shares what they found once they put a gateway in front of everything and logged every session and tool call: prompt injection through email, PR-review agents getting talked into approvals, over-permissioned bots, one poisoned agent contaminating others, buggy vibe-coded MCP servers burning tokens, and a model switch that raised costs over 100x in a week. Chapters: 0:00 Intro 0:25 Zero visibility into company agents 1:22 300 agents for 60 people 3:38 Example: data exfiltration through email 6:16 Attacks that unfold over a whole session 8:50 Using session data to scope agents down 10:56 One poisoned agent affects them all 12:47 Beyond security: broken MCP servers 14:08 Cost blowups from model switches 15:36 Wrap-up Aiden Sochowski https://runlayer.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!