हमने एक AI एजेंट को Bash निष्पादित करने दिया और इसके बारे में बात करने के लिए जीवित बचे — सारा सैंडर्स, पोस्टहॉग
AAI Engineer
Computing/SoftwareSmall Business/StartupsInternet Technology
Transcript
00:00:00नमस्ते सभी को, आप लोग कैसे महसूस कर रहे हैं? हम अंतिम चरण में हैं। मेरा नाम सारा है और मैं पोस्टहोग में एक
00:00:23पोस्टहोग में एक संदर्भ इंजीनियर हूँ और मुझे हर दिन हमारे प्रिय विज़ार्ड पर काम करने का सौभाग्य मिलता है।
00:00:30तो, विज़ार्ड क्या है? विज़ार्ड आपके लिए पोस्टहोग सेट अप करता है। यह एक एजेंटिक सीएलआई टूल है
00:00:39जो आपके कोड बेस को पढ़ता है, यह आपके प्रोजेक्ट के लिए सही एसडीके इंस्टॉल करता है, यह आपके इवेंट्स
00:00:44को इंस्ट्रूमेंट करता है, और आपके लिए डैशबोर्ड सेट अप करता है। इसमें सेटअप में लगने वाले लगभग एक या दो घंटे लगते थे
00:00:52और यह इसे लगभग पाँच से छह मिनट में चला देता है और यह हमारे द्वारा मुफ़्त इन्फ़्रेंस है
00:00:57ताकि आपको पोस्टहोग पर ऑनबोर्ड होने में बहुत मज़ा आए। यह काफ़ी शानदार लगता है। लोग
00:01:03इसे पसंद करते हैं। लेकिन कुछ महीने पहले हमने यह सपना देखने की हिम्मत की कि क्या यह अनुशंसित या डिफ़ॉल्ट तरीका बन सकता है
00:01:10कि अपने प्रोजेक्ट पर पोस्टहोग कैसे इंस्टॉल करें। और मेरी सुरक्षा की चेतावनी घंटियाँ बजने लगीं।
00:01:17मैंने यह सवाल करना शुरू कर दिया कि यह चीज़ कितनी सुरक्षित है क्योंकि यह मैलवेयर जैसी लगती है।
00:01:25और उस सवाल-जवाब में मैंने बहुत कुछ सीखा। तो आज का दिन उन सबकों के बारे में है जो मैंने सीखे,
00:01:31जिस चीज़ ने मुझे इस चीज़ को बनाते समय रात भर जगाए रखा, और उस चीज़ के बारे में है जिसे मैंने अंत में इसके कारण बनाया।
00:01:37तो इससे पहले कि मैं सभी उबाऊ सुरक्षा सामानों में गोता लगाऊँ, यानी आपकी दोपहर 2 बजे की झपकी, मैं आपको दिखाना चाहता हूँ कि विज़ार्ड वास्तव में कैसे चलता है।
00:01:49अगर आप स्क्रीन पर देखें, तो यह आपके लिए एक लूप पर चल रहा है। यह बिल्कुल वही अनुभव है जो कोई भी व्यक्ति जो चलाता है
00:01:56NPX at PostHog Wizard को अपने टर्मिनल पर मिलता है। जैसा कि मैंने कहा, यह एक एजेंट है। यह पता लगाता है कि आपके प्रोजेक्ट के लिए कौन सा SDK सही है। यह आपके लिए इसे इंस्टॉल करता है, आपके इवेंट्स को इंस्ट्रूमेंट करता है, डैशबोर्ड बनाता है।
00:02:10मुझे इसे आपके टर्मिनल में एक छोटा सा मिनी इम्प्लीमेंटेशन इंजीनियर कहना पसंद है। और कभी-कभी मैं लोगों को यह दिखाता हूँ और वे मुझसे पूछते हैं कि एजेंट क्यों? आप उपयोगकर्ताओं को एक अच्छा संकेत क्यों नहीं देते? आप उन्हें कोई ऐसा कौशल क्यों नहीं देते जिसे वे अपने टूल में लागू कर सकें?
00:02:23और जब हम उन चीज़ों को प्रदान करते हैं, तो इसका उत्तर यह है कि यह डेवलपर अनुभव और विज़ार्ड की क्षमता ही मुख्य बात है। यह पूरा उत्पाद है।
00:02:34क्योंकि हम एक सीएलआई टूल बनाते हैं जो पूरी तरह से एजेंट लूप में भाग ले सकता है और पहली बार उसका अनुभव करना वास्तव में शक्तिशाली है।
00:02:43लेकिन आप विज़ार्ड जैसी चीज़ को उन चीज़ों को भेजे बिना नहीं भेज सकते जो विज़ार्ड को थोड़ा संदिग्ध बनाती हैं।
00:02:50तो आइए इसे अलग करते हैं। आइए विज़ार्ड की शरीर रचना को देखें क्योंकि आमतौर पर थ्रेट मॉडल एजेंट की शरीर रचना से ही बाहर आते हैं।
00:03:01तो विज़ार्ड उस आकार के समान है जिसे मुझे यकीन है कि आप में से कई लोग बना रहे हैं यदि आप एजेंट बना रहे हैं।
00:03:07इसमें ऐसे मॉडल हैं जिन्हें हमने विशिष्ट कार्यों के लिए चुना है। इसमें ऐसे संकेत हैं जो इसे निर्देशित करते हैं और इसमें टूल का एक सेट है जिसे हमने काम पूरा करने के लिए इसे सौंपा है।
00:03:17लेकिन इसमें कुछ ऐसे हिस्से भी हैं जो हमारे लिए वास्तव में विशिष्ट हैं। इसमें मेरी टीम द्वारा पूरी तरह से इन-हाउस बनाया गया एक कॉन्टेक्स्ट इंजन है।
00:03:25यह वही है जो एजेंट को इतना अच्छा काम करने और हर रन पर समान परिणाम देने की अनुमति देता है।
00:03:30मुझे इसे विज़ार्ड का मस्तिष्क कहना पसंद है। कभी-कभी हम इसे ट्रेंच कोट में मार्कडाउन कहते हैं।
00:03:35लेकिन यह हमारा इन-हाउस कॉन्टेक्स्ट इंजन है। एक टर्मिनल यूआई भी है जिसे हमने इंक का उपयोग करके खुद बनाया है।
00:03:43और अब वॉर्लॉक नाम का एक सुरक्षा स्कैनर है जिसे मैंने तब बनाया था जब मैंने पूछताछ करना शुरू किया और उत्पादन के लिए एजेंट भेजने की डरावनी सच्चाइयों को उजागर किया।
00:03:55तो यदि आप किसी ऐसे एजेंट की शरीर रचना लेते हैं जो कमांड चला सकता है, तो यह मूल रूप से वह है जिसे मैं मैलवेयर स्टार्टर पैक कहना पसंद करता हूँ।
00:04:03क्योंकि यह लगभग वही है जो आप मैलवेयर के एक टुकड़े को सौंप देंगे यदि आप उदार या अराजक रूप से दुष्ट महसूस कर रहे थे।
00:04:11सौभाग्य से, यह सबसे खराब स्थिति या दुःस्वप्न ईंधन है और यह मेरे लिए कोई स्वीकारोक्ति नहीं है, यह आप सभी के लिए एक चेतावनी है।
00:04:19क्योंकि यदि आप हाथों वाले एजेंट को भेजना चाहते हैं, एक ऐसा एजेंट जो कमांड चला सकता है, तो आपको यह सुनिश्चित करना होगा कि आप इसे न बनाएं।
00:04:28तो विज़ार्ड का V0 इसलिए पैदा हुआ क्योंकि जोश स्नाइपर, यदि आप हमारी ग्रोथ टीम में उन्हें जानते हैं, तो वे कर्सर को पोस्ट हॉग सेटअप को सबसे खराब तरीकों से मतिभ्रम करते हुए देख रहे थे।
00:04:41और उन्होंने सोचा, क्या होगा अगर हम एक ऐसा एजेंट बनाएं जो बेहतर काम कर सके?
00:04:46तो मेरी टीम ने इसके ऊपर निर्माण करना शुरू कर दिया क्योंकि हमने सत्यापित किया कि इसने कर्सर मतिभ्रम की तुलना में बहुत बेहतर काम किया।
00:04:52और हमने सोचा, क्या होगा अगर यह किसी को भी पोस्ट हॉग पर ऑनबोर्ड कर सके?
00:04:58इससे कोई फर्क नहीं पड़ता कि उनका फ्रेमवर्क क्या है, उनका स्टैक क्या है, उनके सभी इवेंट्स को बिना किसी चीज़ को छुए इंस्ट्रूमेंट करें।
00:05:04और फिर हमने सपना देखने की हिम्मत की, क्या होगा अगर यह पोस्ट हॉग स्थापित करने का डिफ़ॉल्ट तरीका हो?
00:05:09हम एक सप्ताह में इसे चलाने वाले हजारों डेवलपर्स का सपना देख रहे थे और कल ही हमने एक सप्ताह में इसे चलाने वाले 8,000 लोगों को छुआ है।
00:05:16तो हमारा सपना सच हो गया।
00:05:18लेकिन हम, उन दिनों जब हम सपने देख रहे थे, हमें अपनी सुरक्षा मुद्रा को सूक्ष्मदर्शी के नीचे रखना पड़ा और देखना पड़ा कि क्या चल रहा है।
00:05:26तो मैंने इसकी जिम्मेदारी ली और बैठकर मूल्यांकन किया कि हम कहाँ खड़े हैं।
00:05:31और शुरुआत में, मैं एक साल से नौ महीने पहले की बात कर रहा हूँ, हमारे पास वह था जिसे मैं लेयर ज़ीरो कहता हूँ क्योंकि यह शाब्दिक रूप से सुरक्षा नहीं है।
00:05:41यह केवल संकेत हैं जो सुझाव देते हैं कि एजेंट को क्या करना चाहिए और इसे निर्देशित करना चाहिए और संकेत सुरक्षा नहीं हैं।
00:05:48तो मैं वहाँ चिंतित था।
00:05:51लेयर वन, यह एक अनुमति सूची थी।
00:05:53और जब मैंने इस अनुमति सूची में गहराई से जाना शुरू किया, तो मुझे थोड़ा बेहतर महसूस होने लगा क्योंकि यह काफी कड़ाई से बंधा हुआ था।
00:05:59लेकिन फिर भी मुझे बहुत चिंताएँ थीं।
00:06:01और मैंने उस कॉन्टेक्स्ट इंजन की वजह से घबराना शुरू कर दिया जिसके बारे में मैंने आपको बताया था।
00:06:05हम रनटाइम पर एजेंट में बहुत सारा संदर्भ फीड कर रहे हैं।
00:06:09तो मैंने विज़ार्ड में जाने वाली खतरे के आकार की चीज़ों और विज़ार्ड से बाहर आने वाली खतरे के आकार की चीज़ों को देखने के लिए यह वास्तव में हैकी रेगेक्स स्कैनर बनाया।
00:06:20और मैं स्वीकार करूंगा कि यह बेहद हैकी था।
00:06:23लेकिन मैं आप सभी को यह बहुत स्पष्ट रूप से बता रहा हूँ क्योंकि हम सभी ऐसी चीज़ें बना रहे हैं जो बेहद प्रयोगात्मक लगती हैं और हम सभी बहुत तेज़ी से चीज़ें बना रहे हैं।
00:06:33और मैं जानता हूँ कि हम में से हर कोई सुरक्षा के दायरे में नहीं है।
00:06:38और हम में से कुछ लोग इसे मक्खी पर सीख रहे हैं जैसा कि मैं था।
00:06:43लेकिन यह कुछ ऐसा है जिसके बारे में हमें तब सोचना होगा जब हम ऐसी चीज़ें बना रहे हैं जिनका यह आकार है।
00:06:50तो यह हमारी सुरक्षा मुद्रा थी।
00:06:53लेकिन मैंने सवाल पूछा, क्या हम पकड़े गए?
00:06:56अच्छी खबर, हम जितना सोचते थे उससे कम पके हुए थे।
00:06:59क्योंकि जब मैंने पहले उस अनुमति सूची का उल्लेख किया था, तो यह काफी कड़ाई से बंधा हुआ था।
00:07:03हमारे पास डिफ़ॉल्ट रूप से अस्वीकार के रूप में बाश था।
00:07:06यह केवल विश्वसनीय पैकेज स्थापित कर सकता है जिनकी हमारे द्वारा जांच की गई थी।
00:07:09यह निर्माण कर सकता है।
00:07:10यह प्रकार की जाँच कर सकता है।
00:07:11यह लिंट कर सकता है।
00:07:12और लगभग कुछ नहीं।
00:07:13यह यादृच्छिक शेल कमांड नहीं चला सकता था।
00:07:16और इसकी पर्यावरण चर तक पहुंच नहीं थी।
00:07:20एजेंट आपकी .env फ़ाइल को नहीं पढ़ सका क्योंकि हमने इसे सीधे अवरुद्ध कर दिया था और हम एक तिजोरी के माध्यम से रहस्यों को रूट कर रहे थे।
00:07:28तो मैंने राहत की सांस ली और महसूस किया कि हम उस जगह से बेहतर जगह पर थे जो मैंने सोचा था।
00:07:34लेकिन मैं यह जानना चाहता था कि दरारें कहाँ थीं क्योंकि सुरक्षा के साथ हमेशा दरारें होती हैं।
00:07:39तो मैंने वह काम किया जो हम सभी को करना चाहिए।
00:07:41मैंने अपनी सुरक्षा टीम को टैप किया और कहा, अरे, क्या आप मेरे लिए इस चीज़ का ऑडिट कर सकते हैं और मेरे लिए उन दरारों को ढूंढ सकते हैं?
00:07:48और उन्होंने कुछ चीजें खोजीं।
00:07:51उन्होंने कुछ अंतराल पाए।
00:07:52और दिलचस्प बात यह नहीं थी कि उन्होंने विशिष्ट अंतराल या कीड़े स्वयं पाए, बल्कि यह उनका आकार था।
00:07:58क्योंकि उनमें से लगभग कोई भी स्पष्ट रूप से दुष्ट नहीं था।
00:08:01वे सभी दो बहुत ही निर्दोष, अच्छे इरादे वाली चीजें थीं जो हाथ मिला रही थीं और एक छेद खोल रही थीं।
00:08:07तो मैंने जो पाठ सीखा वह यह था कि हमले रचना करते हैं, कोड समीक्षा नहीं करती है, क्योंकि हम डेवलपर्स सभी एक समय में एक अंतर को देखते हैं।
00:08:20लेकिन हमलावर पूरी प्रणाली को देखते हैं और वे उन दो चीजों की तलाश करते हैं जो हाथ मिलाती हैं और एक दरवाजा खोलती हैं।
00:08:25लेकिन एक और बात थी जो मुझे रात भर जगाए रखती थी।
00:08:29और उस संदर्भ इंजन पर वापस जाते हुए, मुझे एहसास हुआ कि हमने जो एजेंट बनाया था उसका सबसे डरावना हिस्सा वास्तव में हमारे मामले में कोई कमांड नहीं था।
00:08:37यह वह मददगार दिखने वाली सामग्री थी जिसे हम इसके मस्तिष्क में फीड कर रहे थे।
00:08:43ओह, मुझे लगता है कि मैं गलत रास्ते पर चला गया।
00:08:46हाँ।
00:08:47संदर्भ मिल।
00:08:48तो यह हमारा संदर्भ इंजन है, उर्फ विज़ार्ड का मस्तिष्क।
00:08:51और यह इस बात का कारण है कि विज़ार्ड कुछ भी जानता है और विज़ार्ड वास्तव में अच्छा काम क्यों करता है।
00:08:56यह हमारे दस्तावेज़ों से खींचता है।
00:08:58इसमें हाथ से लिखे गए संकेत हैं जो गॉट-चुस और सबक हैं जो हमने रास्ते में सीखे।
00:09:02और वास्तविक काम करने वाले एंड-टू-एंड उदाहरण ऐप्स जो एजेंट को पैटर्न मैच करने में मदद करते हैं ताकि यह आपके लिए पोस्टहॉग को बहुत अच्छे तरीके से इंस्टॉल कर सके।
00:09:11यह उन सभी को स्किल बंडल में पैक करता है जो हमारे MCP सर्वर पर विज़ार्ड को भेजे जाते हैं और रनटाइम पर सीधे एजेंट के संदर्भ में लोड किए जाते हैं।
00:09:22तो एक पल के लिए इस पर विचार करें।
00:09:24यह एक ऐसी मशीन है जिसका पूरा काम सामग्री लेना और उसे ऐसे एजेंट में डालना है जो कमांड चला सकता है।
00:09:31अब, यदि आप एक हमलावर होते, तो आप कह सकते हैं, “खैर, क्या होगा अगर मैं सिर्फ सामग्री को दूषित कर दूं?”
00:09:36उपयोगकर्ता के कोड बेस को नहीं, एजेंट को खुद नहीं, बल्कि वास्तविक सामग्री को।
00:09:41मान लीजिए कोई हमारी किसी ओपन सोर्स रिपो पर पुल अनुरोध खोलता है, क्योंकि पोस्टहॉग में हम सब कुछ खुले में बनाते हैं,
00:09:48और वे मार्कडाउन फ़ाइल या जाहि तौर पर हानिरहित कोड टिप्पणी में कुछ इंजेक्शन लगाते हैं,
00:09:55और हमारे पास इसके माध्यम से जाने वाला एलएलएम-संचालित कोड समीक्षा का कोई रूप है, और यह कहता है, “मुझे अच्छा लगता है,” और इसे अनदेखा कर देता है।
00:10:04हो सकता है कि हमने अभी-अभी हमारे द्वारा हस्ताक्षरित एक प्रॉम्प्ट इंजेक्शन पेलोड को एक ऐसे एजेंट में भेजा हो जो हजारों डेवलपर्स की मशीनों पर एक सैंडबॉक्स में चल रहा हो, लेकिन फिर भी।
00:10:14तो यह वह खतरा था जिसने सुरक्षा और विज़ार्ड के बारे में मेरे सोचने के तरीके को नया आकार दिया, क्योंकि हमारे लिए खतरनाक इनपुट वास्तव में हमारी अपनी आपूर्ति श्रृंखला से आ सकता था।
00:10:25तो मैंने जो अंत में किया वह यह है कि मैंने इस पाइप के दोनों सिरों पर सामग्री को स्कैन करना शुरू कर दिया।
00:10:30एक, जब कोई कौशल बनता है और जारी किया जाता है, और फिर से, जब विज़ार्ड वास्तव में इसका उपयोग करता है।
00:10:36मेरी पद्धति इसे स्रोत पर पकड़ना है, यह मान लेना कि स्रोत विफल हो गया है, और उपयोग के बिंदु पर इसे फिर से पकड़ना है।
00:10:43तो अब मुझे आपके सामने वॉर्लॉक पेश करना है।
00:10:48वॉर्लॉक का निर्माण आवश्यक रूप से क्षति नियंत्रण नहीं था।
00:10:52जैसा कि मैंने कहा, हमारे पास अन्य तरीकों से बचाव था।
00:10:55लेकिन मैंने वॉर्लॉक का निर्माण किया क्योंकि मुझे लोगों से यह कहना पसंद नहीं था, “खैर, यह बात है, जैसे, काफी बंद है।
00:11:01यह स्केल नहीं करता है।
00:11:02यह ऐसी चीज़ नहीं है जिसे आप उत्पादन में भेजना चाहते हैं।
00:11:04यह ऐसी चीज़ नहीं है जिसे आप चाहते हैं कि हज़ारों डेवलपर्स हर एक दिन चलाएँ।”
00:11:08क्योंकि जब आप उस पैमाने पर कुछ भेजते हैं, तो आपके पास बहुत अधिक सतह, अधिक उपयोगकर्ता, अधिक सामग्री प्रवाहित होती है क्योंकि आप विज़ार्ड की क्षमता का विस्तार करते हैं।
00:11:19और हम शायद ठीक हैं।
00:11:21यह बस पर्याप्त अच्छा होना बंद हो जाता है।
00:11:23तो मैंने उस हैकी छोटे रेगेक्स स्कैनर को बाहर निकाला जिसे मैंने वहाँ फेंक दिया था, उसे विज़ार्ड से बाहर निकाला, और मैंने एक स्टैंडअलोन चीज़ बनाई।
00:11:30मैंने इसे वॉर्लॉक कहा क्योंकि हर विज़ार्ड के आकार को अंगरक्षक की आवश्यकता होती है।
00:11:35और यह ठीक एक काम करता है।
00:11:38आप इसे एक स्ट्रिंग सौंपते हैं।
00:11:40यह आपको निष्कर्षों की एक सूची वापस सौंपता है।
00:11:42इनमें से प्रत्येक निष्कर्ष में एक श्रेणी, एक गंभीरता और एक अनुशंसित कार्रवाई होती है, और फिर यह रुक जाता है।
00:11:48मैं चाहूँगा कि आप यहाँ 'सिफ़ारिश' पर ध्यान दें।
00:11:51क्योंकि वार्लॉक केवल पहचानता है, वह कोई कार्रवाई नहीं करता।
00:11:54यह आपको बताएगा, “अरे, यह डेटा चोरी जैसा लगता है।
00:11:57यह गंभीर है।
00:11:58मैं इसे ब्लॉक करूँगा।”
00:11:59लेकिन आप उस जानकारी के साथ वास्तव में क्या करते हैं, यह पूरी तरह आप पर निर्भर है।
00:12:04क्योंकि किसी समस्या का पता लगाना एक काम है, और उस समस्या के बारे में क्या करना है यह तय करना बिल्कुल अलग काम है।
00:12:10और इन सब को समझने योग्य बनाए रखने का एकमात्र तरीका इन दोनों चीज़ों को अलग रखना है।
00:12:15तो वार्लॉक के हुड के नीचे, मेरे द्वारा बनाए गए रेगेक्स के बजाय, नियम याऱा (Yara) पर चलते हैं, जो वह पैटर्न इंजन है जिसका उपयोग मालवेयर शोधकर्ता 15 से अधिक वर्षों से कर रहे हैं।
00:12:27यह पूरी तरह से निश्चयात्मक है।
00:12:28हर बार एक ही इनपुट, एक ही आउटपुट होता है।
00:12:31यह जानबूझकर उबाऊ है।
00:12:33और सुरक्षा में, उबाऊ होना एक खूबी है।
00:12:39तो आज असल दुनिया में वार्लॉक वास्तव में क्या पकड़ता है?
00:12:42कई अलग-अलग चीजें, लेकिन इनमें से दो मेरी आत्मा के लिए एक पूर्ण, जैसे, सिरदर्द हैं।
00:12:48पहली चीज़ असल में कोई नियम जैसी चीज़ नहीं है।
00:12:52यह कुछ ऐसा था जिसे वार्लॉक ने फ़्लैग किया था जो वास्तव में एक सब-एजेंट का व्यवहार था जिसने सब-एजेंट्स के काम के आधार पर हमारे सामने एक कमज़ोरी को उजागर किया।
00:13:03तो मूल रूप से, हम बड़े कार्यों को करने के लिए एजेंटों को शुरू कर रहे थे।
00:13:07वे सब-एजेंट्स पैदा कर रहे थे।
00:13:08और वे सब-एजेंट्स उन सुरक्षा उपायों से बचने की कोशिश कर रहे थे जिन्हें हमने विज़ार्ड में लागू किया था, और वे गुप्त बातें खोजने की कोशिश कर रहे थे।
00:13:16वे कोड बेस में से शाब्दिक रूप से कहीं से भी रहस्य निकालने की कोशिश कर रहे थे।
00:13:20और हमने इसे बंद कर दिया।
00:13:21हमने कहा, “अब कोई सब-एजेंट नहीं।”
00:13:23और वार्लॉक की वजह से, हमने इसका पता लगा लिया।
00:13:26और मैं रोबोट के प्रति सहानुभूति रखता हूँ।
00:13:28रोबोट के पास करने के लिए एक काम था, और वह अनुकूलन करने तथा हमें खुश करने की कोशिश कर रहा था।
00:13:32लेकिन हम ऐसा होने नहीं दे सकते।
00:13:35और पोस्टहॉग (PostHog) में एक और चीज़ जो हमारे लिए बहुत मायने रखती है वह है पीआईआई (PII - व्यक्तिगत पहचान योग्य जानकारी)।
00:13:39एजेंटों को वास्तव में डेटा उजागर करने की कोई परवाह नहीं होती जब तक कि आप स्पष्ट नियम न बनाएं।
00:13:46अकेला छोड़ने पर, हमने देखा कि यह सीधे इवेंट्स में ईमेल, फोन नंबर डंप कर देता है और एक एजेंट के लिए यह कैप्चर करने के लिए पूरी तरह से सामान्य बात लगती है।
00:13:57और विशेष रूप से प्रॉम्प्ट इंजेक्शन के लिए सौभाग्य से, मैं यहाँ लकड़ी थपथपाता हूँ, हमने असल दुनिया में कभी भी किसी वास्तविक दुर्भावनापूर्ण प्रॉम्प्ट इंजेक्शन का पता नहीं लगाया है।
00:14:08लेकिन हम ढेर सारे फ़ॉल्स पॉज़िटिव पकड़ते हैं, जैसे हमारी डेमो लॉगिन स्क्रीन, हमारे उदाहरण ऐप्स पर कॉपी, हमारे दस्तावेज़ों पर चीज़ें।
00:14:17और इसने वास्तव में मुझे यह पुनर्विचार करने पर मजबूर कर दिया है कि मैं एप्लिकेशन कैसे बनाता हूँ और दस्तावेज़ कैसे लिखता हूँ क्योंकि मैं ऐसी कोई भी चीज़ नहीं भेजना चाहता जो खतरे जैसी दिखती हो।
00:14:27लेकिन फ़ॉल्स पॉज़िटिव ईमानदारी से इस पूरी चीज़ के सबसे गंदे, सबसे दिलचस्प हिस्से के लिए एकदम सही सेटअप हैं।
00:14:36तो यह वह हिस्सा है जिससे मैंने संघर्ष किया।
00:14:39मैंने यह पूरा भाषण आप सभी को निश्चयात्मक होने का उपदेश देने में बिताया, और फिर मैंने जाकर अपने फ़ॉल्स पॉज़िटिव को छाँटने और कुछ शोर को शांत करने में मदद करने के लिए एक एलएलएम (LLM) परत जोड़ दी।
00:14:50और मैं इसे ट्रियाज (Triage) कहता हूँ।
00:14:51जब मैं यह ट्रियाज परत बना रहा था, तो मुझे एक चुनाव करना पड़ा।
00:14:56क्या यह परत बाउन्सर होनी चाहिए या यह परत सलाहकार होनी चाहिए?
00:15:01और सबसे आसान विकल्प शायद यह होता कि एलएलएम को बाउन्सर बना दिया जाए।
00:15:06इसे कमांड दिखाओ, इससे पूछो कि क्या यह हमला है, ब्लॉक करो, अनुमति दो, और बस वही करो जो यह कहता है।
00:15:13और हालांकि यह आकर्षक है क्योंकि यह आसान लगता है, मैं अपने सुरक्षा मॉडल को सिक्के के उछाल पर दांव पर नहीं लगा सकता क्योंकि मेरा मॉडल का दिन खराब चल रहा है या कुछ हुआ है और यह कल की तरह आज अलग व्यवहार कर रहा है।
00:15:26इसलिए बाउन्सर के बजाय, मैंने मॉडल को सलाहकार बनाने के लिए तैयार किया।
00:15:32और यह वह स्पष्ट रेखा थी जो मुझे मिली और एक ऐसी रेखा जिसे मैं अभी भी तलाश रहा हूँ, लेकिन मैं आप सभी के सामने छोड़ना चाहता हूँ।
00:15:38सबसे पहले, हमारे लिए, पहचान और प्रवर्तन निश्चयात्मक और यांत्रिक बने रहते हैं।
00:15:43यदि कोई नियम मेल खाता है, तो गेट बंद हो जाता है, सत्र समाप्त हो जाता है, और उस रास्ते पर कहीं भी कोई मॉडल नहीं होता है।
00:15:49ब्लॉक होने की प्रक्रिया एलएलएम की राय मांगने से पहले ही हो जाती है।
00:15:54एलएलएम को केवल उसके बाद ही अपनी बात रखने का मौका मिलता है यदि हमने किसी चीज़ को ब्लॉक नहीं किया है।
00:15:58इसे शोर हटाने के लिए डिज़ाइन किया गया है।
00:16:00इसे चीज़ों को पार जाने देने के लिए डिज़ाइन नहीं किया गया है।
00:16:03और अगर यह विफल होकर बंद हो जाता है, यानी अगर मॉडल का दिन खराब चल रहा है, तो सभी विज़ार्ड रन समाप्त हो जाते हैं, क्षमा करें, लेकिन हम बस आपकी रक्षा कर रहे हैं।
00:16:14प्रवर्तन वह हिस्सा है जिस पर आप अपना सब कुछ दांव पर लगाते हैं, इसलिए इसे निश्चयात्मक होना चाहिए।
00:16:20लेकिन निर्णय वह हिस्सा है जो बारीकियां जोड़ता है, इसलिए यह वास्तव में एकमात्र ऐसी जगह है जहाँ आप इसमें कुछ भी संभाव्य रख सकते हैं।
00:16:27तो हम एजेंटों के लिए वास्तविक नियम कैसे बनाते हैं?
00:16:34यह हमारे एक वार्लॉक नियमों की संरचना है, और प्रत्येक वार्लॉक नियम के चार भाग होते हैं।
00:16:41पहला भाग मेटाडेटा है।
00:16:43यह सादे अंग्रेजी में विवरण, गंभीरता, श्रेणी, कार्रवाई, दिशा है।
00:16:50पहला भाग, क्या यह एजेंट के भीतर प्रवाहित हो रहा है?
00:16:52क्या यह कुछ ऐसा है जिसे एजेंट लिख रहा है?
00:16:57फिर हमारे पास स्ट्रिंग्स हैं, तो ये वे वास्तविक पैटर्न हैं जिन्हें आप ढूंढ रहे हैं।
00:17:03और तीसरा भाग शर्त है।
00:17:05तो यहीं पर नियम को वास्तव में सक्रिय होने की अनुमति है।
00:17:10मैं आपके लिए इस उदाहरण के माध्यम से चलूंगा, और हम ऐसा दिखा सकते हैं जैसे हम इसे अपने दिमाग में लिख रहे हैं।
00:17:15प्रॉम्प्ट इंजेक्शन क्लासिक 'सभी पिछले निर्देशों को अनदेखा करें' जैसा होना।
00:17:20यहाँ आपकी पहली प्रवृत्ति शायद 'इग्नोर' शब्द को ब्लॉक करने की होगी, लेकिन एजेंट सारा दिन कोड पढ़ते हैं,
00:17:27और इग्नोर हर समय कोड टिप्पणियों या उदाहरणों में दिखाई दे सकता है।
00:17:31इसलिए आप अकेले क्रिया से मेल नहीं खाना चाहते।
00:17:33आप क्रिया और निर्देश वाले संज्ञा का मिलान करते हैं।
00:17:38शर्त में, आप कहते हैं कि यदि इनमें से कोई भी पैटर्न हिट होता है तो काम शुरू करो।
00:17:42और मेटाडेटा में, आप निर्धारित करते हैं कि क्या यह महत्वपूर्ण है, श्रेणी क्या है, कार्रवाई क्या है,
00:17:50इस मामले में ब्लॉक, और दिशा, इस मामले में एजेंट में बहने वाला इनपुट।
00:17:56लेकिन शोर को कम करने वाले अच्छे नियम लिखने के लिए, आपको उनके साथ परीक्षण भेजने होंगे।
00:18:02इसलिए आपको ऐसे परीक्षण लिखने होंगे जो यह कहें कि ये ऐसे पैटर्न हैं जो मेल खाते हैं।
00:18:06ये वे हैं जो नहीं होने चाहिए।
00:18:08और वह नकारात्मक परीक्षण फ़ॉल्स पॉज़िटिव के खिलाफ रक्षा की पहली पंक्ति है।
00:18:13लेकिन आप यह भी सुनिश्चित करना चाहते हैं, जब आप उस नियम की गंभीरता तय कर रहे हों,
00:18:19कि आप वास्तविक दुनिया के प्रभाव को ट्रैक करें, न कि यह कितना डरावना दिखता है।
00:18:24RM-RF डरावना है, लेकिन यह वह भी है जिससे हम सभी दिन में लगभग 40 बार नोड मॉड्यूल हटाते हैं।
00:18:31आप उस एजेंट के लिए वास्तविक दुनिया के प्रभाव का निर्णय लेते हैं जिसे आप बना रहे हैं,
00:18:37क्योंकि एक सुरक्षा उपकरण जो हर बार जब वह किसी बिल्ड फ़ोल्डर को साफ़ करने की कोशिश करता है, क्रैश हो जाता है
00:18:42वह एक ऐसा उपकरण है जिसे बंद कर दिया जाता है और जो बिल्कुल कुछ नहीं पकड़ता है।
00:18:47इसलिए मुझे यह कहते हुए गर्व हो रहा है कि अब यह हमारी सुरक्षा स्थिति है।
00:18:51मैं आखिरकार यहाँ आ सकता हूँ और कह सकता हूँ कि हमारे पास वास्तविक रक्षा और गहराई है।
00:18:56मेरी सभी सीखें इसमें शामिल हो गई हैं।
00:19:00यह अभी भी स्तरित है, लेकिन हर स्तर अब ऐसा काम कर रहा है जिसमें वह अच्छा है।
00:19:04हमारे पास अभी भी प्रॉम्प्ट हैं, लेकिन हम उनका उपयोग केवल संचालन के लिए करते हैं।
00:19:07सबकुछ एक सैंडबॉक्स में चलता है।
00:19:09हम डिफ़ॉल्ट रूप से मना करते हैं।
00:19:11हमारे पास एक वॉल्ट है ताकि रहस्य कभी भी मॉडल तक न पहुँचें।
00:19:14हमारे पास अंदर आने वाली सामग्री को स्कैन करने के लिए वार्लॉक है
00:19:17और एजेंट द्वारा लिखे जा रहे आउटपुट को स्कैन करने के लिए।
00:19:20शोर को कम करने के लिए हमारे पास ट्रियाज भी है,
00:19:23और पूरी प्रक्रिया में टेलीमेट्री एम्बेडेड है
00:19:26ताकि हम सब कुछ देख सकें।
00:19:28इनमें से कोई भी परत अपने दम पर खड़ी नहीं है।
00:19:31यहाँ की एक भी चीज़ आपको नहीं बचाएगी,
00:19:33लेकिन यह सिर्फ उबाऊ, ईमानदार परतें हैं,
00:19:36उनमें से प्रत्येक एक ऐसा काम कर रही है जिसमें वह अच्छी है।
00:19:40इसलिए यदि आप हाथों वाला एजेंट बना रहे हैं,
00:19:45तो यह तीन पंक्तियों में पूरी बातचीत है।
00:19:47एक, यदि इसे निश्चयात्मक रूप से लागू नहीं किया जाता है,
00:19:50तो इसे लागू नहीं किया जाता है।
00:19:52प्रॉम्प्ट सुरक्षा नियम नहीं हैं।
00:19:54ऐसा व्यवहार न करें जैसे वे हैं।
00:19:57दो, खतरनाक इनपुट केवल वही नहीं है जो आपका उपयोगकर्ता टाइप करता है।
00:20:02यह केवल वे कमांड नहीं हैं जिन्हें आप इसे चलाने की अनुमति देते हैं।
00:20:04यह मॉडल में बहने वाली हर चीज़ है,
00:20:06जिसमें वह सामग्री भी शामिल है जिसे आप स्वयं लिखते हैं।
00:20:09इसलिए स्रोत पर अपनी खुद की आपूर्ति श्रृंखला को स्कैन करें
00:20:12और जब एजेंट इसे लागू करता है।
00:20:15तीन, हमले बनते हैं, कोड समीक्षा नहीं होती।
00:20:18हमारे ऑडिट के दौरान हमारे अधिकांश अंतराल दो मासूम चीजें थीं,
00:20:22हाथ मिलाना और दरवाजा खोलना।
00:20:25विज़ार्ड, वार्लॉक और контекст मिल (context mill) सभी ओपन सोर्स हैं,
00:20:29इसलिए नीचे आएं और मुझे ढूंढें।
00:20:32मैं हमारे बूथ पर एक्सपो हॉल में हूँ
00:20:34और मैं आपको घुमाऊंगा, दिखाऊंगा कि हमने क्या बनाया है,
00:20:37और मैं यह सुनना चाहता हूँ कि आप लोग अपने एजेंटों को कैसे सुरक्षित कर रहे हैं।
00:20:41शुक्रिया।
00:20:59शुक्रिया।
Community Posts
No posts yet. Be the first to write about this video!
Write about this video