आखिर गलत क्या हो सकता है?

MMaximilian Schwarzmüller
Computing/SoftwareBusiness NewsInternet Technology

Transcript

00:00:00OpenClaw अब OpenAI का हिस्सा बन रहा है और OpenClaw के निर्माता पीटर स्टीनबर्गर,
00:00:05OpenAI में शामिल हो रहे हैं। और मुझे लगता है कि एक डेवलपर के दृष्टिकोण से यह कुछ
00:00:12कारणों से दिलचस्प है। यह हमें बताता है कि OpenAI किस दिशा में बढ़ रहा है और इसके
00:00:17कुछ दिलचस्प निहितार्थ भी हैं। पीटर ने अपनी वेबसाइट पर एक ब्लॉग पोस्ट में ज़िक्र किया है
00:00:25कि उनका अगला मिशन एक ऐसा एजेंट बनाना है जिसे उनकी माँ भी इस्तेमाल कर सकें। क्योंकि अभी
00:00:32OpenClaw के साथ, इसे सेट करने और इस्तेमाल करने के लिए आपको एक निश्चित स्तर के
00:00:38तकनीकी ज्ञान या विशेषज्ञता की आवश्यकता होती है। और मैं कहूँगा कि यह एक अच्छी बात है,
00:00:45क्योंकि जैसा कि मैंने कुछ दिनों या हफ्तों पहले एक वीडियो में तर्क दिया था, OpenClaw खतरनाक हो सकता है
00:00:53या इसमें कुछ गंभीर सुरक्षा समस्याएँ हैं, जिन्हें तकनीकी विशेषज्ञता वाले बहुत से लोग भी
00:01:00या तो समझ नहीं पा रहे हैं या बस नज़रअंदाज़ कर रहे हैं। या फिर वे OpenClaw के साथ उतना उपयोगी काम
00:01:06नहीं कर रहे हैं जितना वे शेयर करते हैं। जो निश्चित रूप से मुमकिन है क्योंकि यह इंटरनेट है और साल 2026 है।
00:01:12खैर, मैंने उस वीडियो में OpenClaw पर अपनी राय शेयर की थी, लेकिन मैं यहाँ समय-समय पर इस पर वापस आता रहूँगा।
00:01:19एक ऐसा AI एजेंट बनाने का मिशन जो अनिवार्य रूप से हर किसी के द्वारा उपयोग किया जा सके, यह मानते हुए कि उनकी माँ
00:01:27कोई प्रो डेवलपर नहीं हैं, ज़ाहिर है कि OpenAI और Thoughtbreak जैसी सभी AI कंपनियाँ इसी के पीछे हैं।
00:01:34क्योंकि Cloud Code, Codex आदि जैसे टूल्स के साथ डेवलपर ग्राहक होना अच्छी बात है, जो कि बेहतरीन हैं,
00:01:41लेकिन बाहर का बाज़ार इससे कहीं ज़्यादा बड़ा है। और ज़ाहिर है कि इन कंपनियों का अंतिम लक्ष्य उस बिंदु तक पहुँचना है
00:01:47जहाँ AI एजेंट सब कुछ कर सकें और हम इंसानों की जगह ले सकें। पहले डिजिटल क्षेत्र में,
00:01:56और फिर रोबोटिक्स के साथ हर जगह। अब, मैं इस बात में नहीं पड़ूँगा कि क्या यह जल्द ही होने वाला है।
00:02:04मुझे लगता है कि मैंने पहले ही कई वीडियो में इस पर अपनी राय शेयर की है। मैं तो डेवलपर्स को भी
00:02:11जल्द ही रिप्लेस होते नहीं देखता, सामान्य तौर पर इंसानों की तो बात ही छोड़िए। और मुझे यह भी नहीं लगता कि यह एक अच्छा लक्ष्य है।
00:02:18लेकिन हाँ, वह एक अलग कहानी है। यहाँ दिलचस्प बात यह है कि सैम ऑल्टमैन ने साझा किया कि
00:02:27पीटर स्टीनबर्गर के OpenAI में शामिल होने के साथ, उन्हें उम्मीद है कि यह OpenClaw जल्द ही हमारे
00:02:35प्रोडक्ट पोर्टफोलियो का मुख्य हिस्सा बन जाएगा। यानी OpenClaw जैसा AI एजेंट। उन्होंने यह भी उल्लेख किया कि
00:02:42OpenClaw एक फाउंडेशन में ओपन सोर्स प्रोजेक्ट के रूप में रहेगा, इसलिए यह ओपन सोर्स ही रहेगा, जिसे OpenAI
00:02:48सपोर्ट करना जारी रखेगा। भविष्य काफी हद तक मल्टी-एजेंट होने वाला है, और हमारे लिए उसके हिस्से के रूप में
00:02:54ओपन सोर्स को सपोर्ट करना ज़रूरी है। मैं उस बयान से बहुत स्पष्ट रूप से यह समझ पा रहा हूँ कि OpenAI
00:03:01OpenClaw के ऊपर या OpenClaw के अनुभवों या उसके कोडबेस के कुछ हिस्सों का उपयोग करके अपनी
00:03:09स्वयं की एजेंटिक सर्विस बनाएगा। तो OpenClaw ओपन सोर्स बना रहेगा और वे इसे सपोर्ट करते रहेंगे,
00:03:16ठीक वैसे ही जैसे वे खुद 'ओपन' बने रहना जारी रखेंगे। मुझे नहीं पता। लेकिन वे निश्चित रूप से
00:03:22OpenClaw की उन सभी सीखों पर एक एजेंट भी बनाएंगे, जो मेरी समझ के अनुसार बहुत संभव है कि
00:03:29ओपन नहीं होगा, बल्कि एक पेड सर्विस होगी, जो ज़ाहिर तौर पर बिज़नेस के नज़रिए से पूरी तरह सही है।
00:03:34अब, अपने वीडियो में मैंने OpenClaw से जुड़ी सुरक्षा संबंधी कुछ चिंताएँ शेयर की थीं। और मेरी सबसे
00:03:44बड़ी चिंता कोडबेस की कमियों के बारे में नहीं है, जिन्हें समय के साथ ठीक किया जा सकता है
00:03:50और जहाँ OpenAI जैसी बड़ी कंपनी का साथ होना बहुत मददगार हो सकता है। वह मेरी सबसे बड़ी चिंता नहीं है।
00:03:58OpenClaw के साथ मेरी सबसे बड़ी चिंता 'प्रॉम्प्ट इंजेक्शन' थी और आज भी है। इन सभी एजेंट्स के साथ
00:04:08यही मेरी नंबर एक चिंता है। और यह लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ एक बुनियादी समस्या है।
00:04:16कोडिंग एजेंट्स बेहतरीन असिस्टेंट हैं। वे बहुत सी चीज़ें गलत करते हैं। उन्हें मार्गदर्शन की ज़रूरत होती है।
00:04:25और जब भी मैं लोगों को यह कहते हुए सुनता हूँ कि वे पहले से ही शुरू से अंत तक सॉफ्टवेयर लिख सकते हैं, तो मैं
00:04:31वह सारा सॉफ्टवेयर देखने के लिए उत्सुक रहता हूँ, क्योंकि मेरा अनुभव ऐसा नहीं रहा है। लेकिन एक
00:04:37सक्षम डेवलपर के हाथों में, ये कोडिंग एजेंट वास्तव में उत्पादकता को काफी बढ़ा सकते हैं।
00:04:44उनके साथ मेरा यही अनुभव है। कोडिंग एजेंट्स के बारे में मैं यही सोचता हूँ। लेकिन महत्वपूर्ण बात यह है कि वे
00:04:50डेवलपर्स को रिप्लेस करने से बहुत दूर हैं। और ज़ाहिर है, कोडिंग कुछ हद तक इन AI मॉडल्स और
00:04:58LLMs के लिए सबसे उपयुक्त काम है क्योंकि इसमें टेक्स्ट इनपुट होता है और टेक्स्ट ही आउटपुट। और बहुत सारा
00:05:04प्रासंगिक संदर्भ, पूरा तो नहीं, लेकिन काफी हिस्सा मॉडल के देखने और उपयोग करने के लिए कोडबेस में ही होता है।
00:05:10और यह निश्चित रूप से दुनिया के कई अन्य कामों, यहाँ तक कि डिजिटल दुनिया के कामों की तुलना में भी एक बड़ा अंतर है।
00:05:16लेकिन चाहे हम कोडिंग एजेंट्स की बात करें या OpenClaw जैसे एजेंट्स की, प्रॉम्प्ट इंजेक्शन एक बड़ी समस्या है।
00:05:22अब, प्रॉम्प्ट इंजेक्शन सूक्ष्म या अप्रत्याशित हो सकता है। बेशक, आप कह सकते हैं कि
00:05:30आप OpenClaw या कोडिंग एजेंट्स के साथ खुद प्रॉम्प्ट लिख रहे हैं, लेकिन जैसे ही
00:05:37आपका कोडिंग एजेंट किसी वेबसाइट पर जाता है या OpenClaw के मामले में, कोई ईमेल पढ़ता है,
00:05:44तो वह जो कुछ भी पढ़ता है, वह एक नए प्रॉम्प्ट में चला जाता है। और यहीं पर प्रॉम्प्ट इंजेक्शन के लिए हमला करने का मौका मिलता है।
00:05:51अब कोडिंग एजेंट्स के साथ फायदा यह है कि एक तो आपको उन्हें सैंडबॉक्स में चलाना चाहिए, और
00:05:58दूसरा, आमतौर पर उनके पास आपके ईमेल अकाउंट या आपके पूरे डिजिटल जीवन तक व्यापक पहुँच नहीं होती है।
00:06:05और एक डेवलपर के रूप में आपको इस बात पर ध्यान देना चाहिए कि आपका कोडिंग एजेंट क्या कर रहा है।
00:06:13आपको आमतौर पर अनुमति देनी या मना करनी पड़ती है। वह आपसे हर समय पूछता है कि क्या उसे
00:06:18यह या वह करने की अनुमति है। और बेशक आप इसे किसी खतरनाक मोड में भी चला सकते हैं। और अगर आप
00:06:24इसे सैंडबॉक्स में रखते हैं, तो शायद आप इतने सुरक्षित रहें कि यह आपकी हार्ड ड्राइव को डिलीट न करे, लेकिन
00:06:32फिर भी यदि आप इस पर नज़र नहीं रख रहे हैं कि आपका कोडिंग एजेंट क्या कर रहा है, तो आप एक खतरनाक क्षेत्र में कदम रख रहे हैं।
00:06:39फिर भी, OpenClaw की तुलना में मुख्य अंतर यह है कि कोडिंग एजेंट के पास आपके
00:06:45पूरे डिजिटल जीवन तक पहुँच नहीं होती है। अब, OpenClaw के साथ विचार निश्चित रूप से
00:06:49एक ऐसा एजेंट बनाने का है जिसे पीटर की माँ भी इस्तेमाल कर सकें। और ज़ाहिर है, विचार यह है कि
00:06:57आपके पास एक ऐसा एजेंट हो जो आपके लिए कुछ भी कर सके। आप बस उसे मैसेज करें, “हे,
00:07:03कृपया मेरे ईमेल चेक करें और कुछ जवाब ड्राफ्ट करें।” ज़ाहिर है, तब इसे आपके ईमेल अकाउंट तक पहुँच की ज़रूरत होगी।
00:07:09अगर इसके पास आपके ईमेल अकाउंट तक पहुँच है, तो यह ईमेल भेज सकता है। और मैं सिर्फ ऐसे ईमेल की बात नहीं कर रहा हूँ
00:07:14जहाँ यह शायद लोगों का अपमान करना शुरू कर दे, जो अपने आप में काफी बुरा होगा, बल्कि यह डेटा भी चुरा सकता है।
00:07:19क्योंकि ज़रा सोचिए, यह डेटा इकट्ठा भी कर सकता है। यह आपके सिस्टम में घूम सकता है, डेटा इकट्ठा कर सकता है,
00:07:24और फिर प्रॉम्प्ट इंजेक्शन की वजह से किसी दुर्भावनापूर्ण व्यक्ति को ईमेल के ज़रिए भेज सकता है।
00:07:30यही वह बड़ी सुरक्षा समस्या है जिसे मैं देख रहा हूँ, जिसे मैंने इस वीडियो में साझा किया है, और जो
00:07:35बनी हुई है। और महत्वपूर्ण बात यह है कि प्रोजेक्ट के पीछे OpenAI के होने के बावजूद भी यह समस्या बनी रहेगी।
00:07:42अब, क्या इसे हल किया जा सकता है? मेरी समझ यह है कि लार्ज लैंग्वेज मॉडल्स जिस तरह से काम करते हैं,
00:07:48उसमें यह सामान्य रूप से नहीं, बल्कि केवल उस अवधारणा के साथ संभव है जो हमारे पास लंबे समय से है,
00:07:54जिसे “जीरो ट्रस्ट” कहा जाता है। विचार यह है कि आप अपने कोडिंग एजेंट को ऐसे वातावरण में चलाएँ जहाँ आप
00:08:02उसके किसी भी कार्य पर भरोसा न करें और उसके कार्यों को सीमित रखें, और आपको उन
00:08:10विशिष्ट चीज़ों के लिए स्पष्ट रूप से अनुमति देनी होगी जिन्हें आप उसे करने देना चाहते हैं। और उदाहरण के लिए,
00:08:14जब ईमेल भेजने की बात आती है, तो आप एक ऐसा वातावरण सेट कर सकते हैं जहाँ उसे हर
00:08:20ईमेल भेजने से पहले आपसे पूछना पड़े और एक इंसान के रूप में आपको उसे चेक करके अनुमति देनी या मना करनी पड़े।
00:08:25बेशक, ऐसा वातावरण, जो बहुत ही प्रतिबंधात्मक है और आपसे हर समय पूछता है कि
00:08:33आप कोई अनुमति देना चाहते हैं या नहीं, उस दर्शन के अनुरूप नहीं है जहाँ आपके पास एक ऐसा
00:08:39अद्भुत एजेंट हो जो आपके सो जाने पर भी आपकी ओर से सब कुछ कर सके।
00:08:45और इसीलिए मुझे अभी वैसा एजेंट वाला भविष्य नज़र नहीं आ रहा है, शायद जल्द ही तो नहीं,
00:08:55लेकिन देखते हैं कि OpenAI वहाँ क्या कर सकता है। मुमकिन है कि वे सुरक्षा समस्याओं के बारे में
00:09:03ज़्यादा परवाह न करें, लेकिन फिर उन्हें करनी ही पड़ेगी क्योंकि उनके पैसे देने वाले ग्राहक
00:09:10शायद खुश नहीं होंगे अगर उनका डेटा चोरी हो जाता है। संक्षेप में कहूँ तो, मैं अभी भी बहुत आशंकित हूँ
00:09:20भले ही मैं OpenClaw जैसे एजेंट्स का आकर्षण देख पा रहा हूँ। एक ऐसा सहायक 24/7 असिस्टेंट होना
00:09:27जो डिजिटल चीज़ों में आपकी मदद कर सके, काफी अच्छा लगता है और मैं निश्चित रूप से देख सकता हूँ कि यह एक ऐसा भविष्य है
00:09:35जिसकी ओर हम बढ़ रहे हैं। और भले ही मेरे पास अभी ऐसे कोई इस्तेमाल के मामले नहीं हैं जहाँ यह बहुत उपयोगी हो
00:09:42क्योंकि मैं इसे उतनी व्यापक अनुमति नहीं देना चाहता और उनके साथ भी मुझे पक्का नहीं पता कि मेरे पास उतने ज़्यादा इस्तेमाल के मामले होंगे,
00:09:48इन सब बातों को ध्यान में रखते हुए भी मैं समझ सकता हूँ कि OpenAI इस प्रोजेक्ट में इतनी रुचि क्यों ले रहा है।
00:09:55हालांकि इसका यह भी मतलब हो सकता है कि समय के साथ OpenClaw खत्म हो जाए, इसका शोर
00:10:03जल्द ही शांत हो सकता है क्योंकि OpenAI की छवि ही ऐसी है और ज़ाहिर है जैसा कि मैं इसे पढ़ता हूँ,
00:10:09यह एक सामान्य कॉर्पोरेट बयान जैसा लगता है जहाँ वे कहते हैं “हाँ-हाँ हम इसे सपोर्ट करने वाले हैं”
00:10:14और फिर किसी बिंदु पर वे सपोर्ट करना बंद कर देते हैं, उन्हें परवाह नहीं होती, वे अपना
00:10:20खुद का प्रोडक्ट बनाते हैं और फिर मुझे लगता है कि हम देखेंगे कि वह प्रोडक्ट कितना अच्छा या बुरा है।

Key Takeaway

OpenAI द्वारा OpenClaw का अधिग्रहण AI एजेंट्स को मुख्यधारा में लाने की दिशा में एक बड़ा कदम है, लेकिन यह 'प्रॉम्प्ट इंजेक्शन' जैसी गंभीर सुरक्षा समस्याओं और उपयोगकर्ता की गोपनीयता पर बड़े सवाल खड़े करता है।

Highlights

OpenAI ने OpenClaw का अधिग्रहण कर लिया है और इसके निर्माता पीटर स्टीनबर्गर अब OpenAI की टीम का हिस्सा हैं।

OpenAI का लक्ष्य एक ऐसा AI एजेंट विकसित करना है जो इतना सरल हो कि उसे तकनीकी जानकारी के बिना कोई भी सामान्य व्यक्ति इस्तेमाल कर सके।

वक्ता के अनुसार, OpenClaw जैसे एजेंट्स में 'प्रॉम्प्ट इंजेक्शन' सबसे बड़ी सुरक्षा चुनौती है, जिससे डेटा चोरी का खतरा बना रहता है।

OpenAI ने वादा किया है कि OpenClaw एक ओपन-सोर्स प्रोजेक्ट बना रहेगा, लेकिन संभावना है कि वे इसके ऊपर एक प्रीमियम 'पेड' सर्विस भी बनाएंगे।

भविष्य 'मल्टी-एजेंट' होने वाला है, जहाँ AI एजेंट इंसानों की जगह लेने की कोशिश करेंगे, हालांकि वक्ता को डेवलपर्स के जल्द रिप्लेस होने पर संदेह है।

सुरक्षा के लिए 'जीरो ट्रस्ट' मॉडल की आवश्यकता है, जहाँ एजेंट के हर महत्वपूर्ण कार्य (जैसे ईमेल भेजना) के लिए मानवीय अनुमति अनिवार्य हो।

Timeline

OpenAI और OpenClaw का एकीकरण

वीडियो की शुरुआत OpenClaw के OpenAI का हिस्सा बनने की खबर से होती है, जिसमें इसके निर्माता पीटर स्टीनबर्गर के शामिल होने पर चर्चा की गई है। वक्ता बताते हैं कि यह बदलाव डेवलपर्स के लिए बहुत दिलचस्प है क्योंकि यह OpenAI की भविष्य की दिशा को दर्शाता है। पीटर का मिशन एक ऐसा एजेंट बनाना है जो तकनीकी विशेषज्ञता के बिना भी इस्तेमाल किया जा सके। अभी OpenClaw को चलाने के लिए एक निश्चित स्तर के ज्ञान की आवश्यकता होती है। वक्ता यहाँ सुरक्षा मुद्दों का संकेत देते हैं जिन्हें अक्सर नज़रअंदाज़ किया जाता है।

AI एजेंट्स का भविष्य और बाजार का विस्तार

सैम ऑल्टमैन ने पुष्टि की है कि OpenClaw जल्द ही OpenAI के प्रोडक्ट पोर्टफोलियो का एक मुख्य हिस्सा बनेगा। कंपनियाँ अब केवल डेवलपर्स तक सीमित नहीं रहना चाहतीं, बल्कि वे उस बड़े बाज़ार तक पहुँचना चाहती हैं जहाँ AI एजेंट इंसानों की जगह ले सकें। हालाँकि यह प्रोजेक्ट ओपन-सोर्स रहेगा, लेकिन वक्ता का मानना है कि OpenAI इसके आधार पर अपनी एक बंद और सशुल्क सर्विस भी शुरू करेगा। भविष्य मल्टी-एजेंट आर्किटेक्चर की ओर बढ़ रहा है जहाँ ओपन-सोर्स का समर्थन महत्वपूर्ण है। वक्ता को व्यक्तिगत रूप से नहीं लगता कि AI जल्द ही पूरी तरह से इंसानों या डेवलपर्स की जगह ले पाएगा।

प्रॉम्प्ट इंजेक्शन और सुरक्षा संबंधी चिंताएँ

वक्ता यहाँ अपनी सबसे बड़ी चिंता साझा करते हैं, जो कोडबेस की कमियां नहीं बल्कि 'प्रॉम्प्ट इंजेक्शन' है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की एक बुनियादी समस्या है जो अभी तक अनसुलझी है। कोडिंग एजेंट्स सक्षम डेवलपर्स के लिए उत्पादकता बढ़ाने वाले बेहतरीन उपकरण तो हैं, लेकिन वे पूरी तरह स्वतंत्र नहीं हैं। कोडिंग के मामले में संदर्भ (context) कोडबेस के भीतर ही होता है, जो इसे अन्य डिजिटल कार्यों से अलग बनाता है। जैसे ही एजेंट इंटरनेट या बाहरी इनपुट के संपर्क में आता है, हमले का खतरा बढ़ जाता है।

डेटा चोरी और गोपनीयता का खतरा

इस भाग में चर्चा की गई है कि कैसे एक AI एजेंट आपके ईमेल और व्यक्तिगत डेटा तक पहुँचने पर खतरनाक हो सकता है। यदि आप एजेंट को ईमेल ड्राफ्ट करने या पढ़ने के लिए कहते हैं, तो कोई भी दुर्भावनापूर्ण व्यक्ति प्रॉम्प्ट इंजेक्शन के ज़रिए आपका डेटा चुरा सकता है। वक्ता चेतावनी देते हैं कि एजेंट आपके सिस्टम में घूमकर जानकारी इकट्ठा कर सकता है और उसे बाहरी व्यक्ति को भेज सकता है। यह समस्या OpenAI के समर्थन के बावजूद बनी रहेगी क्योंकि यह AI के काम करने के तरीके से जुड़ी है। कोडिंग एजेंट्स आमतौर पर सैंडबॉक्स में चलते हैं, लेकिन सामान्य उपयोग वाले एजेंट्स को बहुत व्यापक अनुमतियाँ चाहिए होती हैं।

जीरो ट्रस्ट मॉडल और निष्कर्ष

सुरक्षा के समाधान के रूप में 'जीरो ट्रस्ट' अवधारणा पर चर्चा की गई है, जहाँ एजेंट के हर कार्य के लिए मानवीय स्वीकृति आवश्यक होती है। हालाँकि, यह प्रतिबंधात्मक वातावरण उस 'स्वायत्त सहायक' के विचार के विपरीत है जिसे कंपनियाँ बेचना चाहती हैं। वक्ता को संदेह है कि OpenAI सुरक्षा पर कितना ध्यान देगा, क्योंकि उनके भुगतान करने वाले ग्राहक डेटा लीक होने पर नाखुश होंगे। अंत में, वक्ता कहते हैं कि वे अभी भी इस तकनीक को लेकर सशंकित हैं क्योंकि वे इसे अपने डेटा की खुली पहुँच नहीं देना चाहते। उन्हें लगता है कि समय के साथ शायद OpenClaw का स्वतंत्र अस्तित्व खत्म हो जाए और वह केवल OpenAI का एक बंद उत्पाद बनकर रह जाए।

Community Posts

View all posts