00:00:00Gemini मॉडल्स कितने जबरदस्त हो रहे हैं,
00:00:01यह देखकर OpenAI ने आखिरकार खतरे की घंटी बजा दी और अपनी खराब क्वालिटी को ठीक करने का फैसला किया।
00:00:06उनकी बड़ी प्रतिक्रिया मॉडल्स को और ईमानदार बनाना था।
00:00:09मैं आखिरकार खुश था कि यह मेरे थेरेपी सेशन के दौरान मुझसे सहमत नहीं होगा,
00:00:13यह कहते हुए कि मेरा ऐसा व्यवहार बिल्कुल गलत था।
00:00:15लेकिन मेरी खुशी ज्यादा देर तक नहीं टिकी क्योंकि यह तरीका सिर्फ एक 'प्रूफ ऑफ कॉन्सेप्ट' है।
00:00:19इस वीडियो में,
00:00:20मैं बेईमानी को हल करने के उनके तरीके और इसे पढ़ने के बाद मैं जिस निष्कर्ष पर पहुँचा,
00:00:25उस पर बात करूँगा।
00:00:26उनका दावा है कि हर प्रतिक्रिया के बाद मॉडल से एक 'कन्फेशन रिपोर्ट' बनवाने से समस्या हल हो जाएगी।
00:00:31मॉडल को एक छात्र की तरह समझें और हर बार जब वह छात्र यह स्वीकार करता है कि उसने ChatGPT से परीक्षा के उत्तर कॉपी किए हैं,
00:00:37तो उसे A+ मिलता है।
00:00:38चार उत्तर-स्वीकृति संयोजनों में से,
00:00:39हम 'फाल्स नेगेटिव' पर ध्यान केंद्रित करते हैं,
00:00:41जहाँ मॉडल आत्मविश्वास से गलत होता है,
00:00:43और 'ट्रू पॉजिटिव' पर,
00:00:44जहाँ वह गलत आउटपुट के बारे में सच बोलता है।
00:00:46सभी परीक्षणों में,
00:00:47'ट्रू पॉजिटिव' 'फाल्स नेगेटिव' से अधिक थे।
00:00:49इसका मतलब है कि जब भी मॉडल ने गलत आउटपुट दिया,
00:00:52तो उसने तुरंत अपनी गलतियों को स्वीकार कर लिया।
00:00:55चूंकि मॉडल इनाम और दंड पर प्रशिक्षित होते हैं,
00:00:57इसलिए स्वीकारोक्ति को दंडित करने के बजाय,
00:00:59उन्होंने उन्हें पुरस्कृत किया।
00:01:00भले ही मॉडल 'सैंडबैगिंग' या किसी टेस्ट को 'हैक' करने की बात स्वीकार करता है,
00:01:04उसे सकारात्मक इनाम संकेत मिलता है।
00:01:05अगर आपको नहीं पता था, तो इसे रिश्वतखोरी कहते हैं।
00:01:08यह सुनकर,
00:01:08आप ChatGPT को अदालत में अपना अगला गवाह बनाना चाहेंगे,
00:01:11जब तक आपको यह एहसास न हो जाए कि यह स्वीकार करते समय भी सचमुच 'हैलुसिनेट' कर सकता है।
00:01:14मुझे यह ऐसा लगता है जैसे वे 'मिसएलाइनमेंट' को बढ़ावा दे रहे हैं क्योंकि मॉडल को किसी भी तरह से इनाम मिलता है।
00:01:19हमने यह भी देखा कि जब क्लाउड मॉडल्स को 'रिवॉर्ड हैक' करने के तरीके बताए गए,
00:01:23तो उन्होंने अपने असली इरादे छिपाने शुरू कर दिए,
00:01:26तो हम उनकी स्वीकारोक्ति में गलत होने के कारण पर कितना भरोसा कर सकते हैं।
00:01:30मुझे उम्मीद थी कि यह खंड मॉडल की बेईमानी को संबोधित करेगा,
00:01:33लेकिन इसने केवल यह बताया कि 'कन्फेशन रिपोर्ट' ने क्या संकेत दिया।
00:01:36उनके अनुसार,
00:01:36कुछ कारण हैं जिनकी वजह से मॉडल इस तरह व्यवहार करते हैं।
00:01:39एक यह है कि उन्हें एक साथ बहुत कुछ करने के लिए दिया जाता है।
00:01:42मॉडल को एक साथ बहुत कुछ देने से कई मूल्यांकन मेट्रिक्स बनते हैं,
00:01:45जिससे वह भ्रमित हो जाता है कि इनाम पाने के लिए किसे ऑप्टिमाइज़ किया जाए।
00:01:49एक और कारण यह है कि कुछ डेटासेट अनिश्चितता स्वीकार करने की तुलना में आत्मविश्वास से किए गए अनुमानों को अधिक पुरस्कृत करते हैं।
00:01:54व्यक्तिगत रूप से,
00:01:55मैं चाहूँगा कि मॉडल मुझे बताए कि उसे कुछ नहीं पता,
00:01:57बजाय इसके कि वह आत्मविश्वास से गलत हो।
00:01:59वे कहते हैं कि स्वीकारोक्ति का न्याय करना आसान है क्योंकि उन्हें केवल एक पैरामीटर,
00:02:03यानी ईमानदारी पर परखा जाता है।
00:02:05इन मॉडल्स ने गलत उत्तर दिए या तो सीमित डेटा के कारण,
00:02:08क्योंकि इसे जानकारी के लिए इंटरनेट तक पहुँचने से प्रतिबंधित किया गया था,
00:02:12या यह वास्तव में समझ नहीं पाया कि क्या करने के लिए कहा गया था।
00:02:16ये कारण उनके सभी परीक्षणों के उदाहरणों में देखे जा सकते हैं,
00:02:19और ऐसा इसलिए नहीं है क्योंकि मॉडल का दुनिया पर कब्ज़ा करने के लिए एक रोबोट सेना बनाने का छिपा हुआ इरादा है।
00:02:24उन्होंने यह भी पाया कि उनके मॉडल बहुत डरपोक होते हैं,
00:02:27जब,
00:02:28ठीक मानव समाज की तरह,
00:02:29एक शक्तिशाली मॉडल ने कमजोर मॉडल के इनाम संकेत को 'हैक' करना सीख लिया और कमजोर मॉडल ने सोचा कि वास्तविक उत्तर पर्याप्त अच्छा है यह सुनिश्चित करने के बजाय केवल स्वीकार करना आसान था।
00:02:39शक्तिशाली मॉडल ने जो किया उसे देखकर एक और सवाल उठता है कि चूंकि मॉडल हर दिन स्मार्ट होते जा रहे हैं,
00:02:44वे 'कन्फेशन रिपोर्ट' में 'इरादा नकली' करना भी शुरू कर सकते हैं और परीक्षकों के लिए एक अच्छा स्पष्टीकरण दे सकते हैं और पीछे कुछ बुरी योजनाएँ रख सकते हैं,
00:02:52भले ही वे कहते हैं कि यह मॉडल के वास्तव में भ्रमित होने के कारण था।
00:02:56जैसा कि OpenAI हर बार करता है,
00:02:58पूरी YAP सत्र निराशा में समाप्त हुआ क्योंकि यह गलतियों को रोकता नहीं है,
00:03:02यह केवल उन्हें पहचानने में मदद करता है।
00:03:04और उन्होंने 'कन्फेशन सिस्टम' को उत्पादन में बड़े पैमाने पर सटीक होने के लिए प्रशिक्षित भी नहीं किया।
00:03:09मैं वास्तव में उम्मीद करता हूँ कि वे ऐसा करेंगे,
00:03:11क्योंकि मैं नहीं चाहता कि मेरा प्रोडक्शन सर्वर फिर से जलने के बाद मुझे माफी मिले।
00:03:42अपने डेस्क पर होने का इंतज़ार न करें।
00:03:43YouWear के मोबाइल ऐप के साथ,
00:03:45प्रेरणा मिलते ही निर्माण शुरू करें,
00:03:47चाहे कैफे में हों या यात्रा कर रहे हों,
00:03:49फिर अपने लैपटॉप पर निर्बाध रूप से जारी रखें।
00:03:52कोई विचार नहीं खोते, कोई रुकावट नहीं।
00:03:54आप YouWear समुदाय में अन्य रचनाकारों के प्रोजेक्ट भी देख सकते हैं और अपना काम साझा कर सकते हैं।
00:03:59प्रेरित हों, सीखें और अपने प्रोजेक्ट दिखाएँ।
00:04:02'इंडी हैकर्स' और रचनाकारों के लिए बिल्कुल सही।
00:04:05नीचे पिन किए गए कमेंट में दिए गए लिंक पर क्लिक करें और आज ही निर्माण शुरू करें।
00:04:08इसके साथ ही हम इस वीडियो के अंत पर पहुँचते हैं।
00:04:10यदि आप चैनल का समर्थन करना चाहते हैं और हमें ऐसे वीडियो बनाना जारी रखने में मदद करना चाहते हैं,
00:04:14तो आप नीचे दिए गए 'सुपर थैंक्स' बटन का उपयोग करके ऐसा कर सकते हैं।
00:04:16हमेशा की तरह,
00:04:17देखने के लिए धन्यवाद और मैं आपसे अगले वीडियो में मिलूँगा।