ChatGPT को गॉब्लिन्स (Goblins) का जुनून सवार है (यहाँ जानिए क्यों)
BBetter Stack
Computing/SoftwareBusiness NewsInternet Technology
Transcript
00:00:00ChatGPT को गॉब्लिन्स का जुनून सवार है। वे हर जगह घुस आते हैं, भले ही थ्रेड में
00:00:04उनका कोई ज़िक्र न हो, और अगर यह सिर्फ एक बार की बात होती तो ठीक था, लेकिन यह
00:00:07इतना बड़ा पैटर्न बन गया है कि कोडेक्स के सिस्टम प्रॉम्प्ट में उसे कहा गया है कि वह उन्हें और
00:00:11ग्रेमलिन्स और रैकून जैसे अन्य जीवों को तब तक न लाए जब तक कि वे बातचीत से प्रासंगिक न हों। यह
00:00:16इतनी बड़ी बात बन गई कि ओपन एआई को इसकी जांच करनी पड़ी और पता लगाना पड़ा कि ऐसा क्यों हो रहा है।
00:00:21यह एक साल से भी पुराना रेडिट थ्रेड है और ChatGPT 5.1 के रिलीज़ होने से पहले ही
00:00:29इस व्यवहार की हमारी पहली रिपोर्ट हो सकती है। इस थ्रेड में लोग सहमत हैं कि यह अक्सर
00:00:34गॉब्लिन्स का ज़िक्र करता है, जैसे OP को "फिटनेस गॉब्लिन" कहना और "केओस गॉब्लिन" दिन बिताना, और अन्य
00:00:39भी इसका समर्थन करते हैं और कुछ को यह प्यारा लगता है। इसके बावजूद, समय बीतता गया और
00:00:44नवंबर 2025 में जब OpenAI ने GPT 5.1 जारी किया, तब उन्होंने भी इस पर ध्यान देना शुरू किया। उन्हें
00:00:50शिकायतें मिली थीं कि उनका मॉडल बातचीत में अजीब तरह से ज़रूरत से ज़्यादा परिचित हो रहा है, इसलिए
00:00:54उन्होंने विशिष्ट मौखिक आदतों की जांच करने का फैसला किया। ये "आप बिल्कुल सही हैं" जैसी चीज़ें
00:00:58हैं जिन्हें हमने बहुत ज़्यादा देखा है। तभी OpenAI के एक सुरक्षा शोधकर्ता ने कहा
00:01:03कि उन्होंने खुद भी कुछ बार गॉब्लिन्स और ग्रेमलिन्स देखे हैं, इसलिए उन्होंने इसे अपनी जांच
00:01:07में शामिल करने के लिए कहा। जब जांच पूरी हुई तो पता चला कि ChatGPT में गॉब्लिन शब्द का
00:01:11उपयोग GPT 5.1 के बाद 175% बढ़ गया था और ग्रेमलिन का उपयोग 52% बढ़ गया था। डेटा में इस
00:01:18बढ़ोतरी के बावजूद, OpenAI ने वास्तव में कुछ नहीं किया क्योंकि यह काफी हानिरहित है, है ना?
00:01:23सभी मॉडलों की अपनी ट्रेनिंग की प्रकृति के कारण अपनी विशिष्टताएं और व्यक्तित्व होते हैं
00:01:27इसलिए घबराने का कोई कारण नहीं लगा। लेकिन कुछ महीनों बाद जब
00:01:31GPT 5.4 लॉन्च हुआ, तो गॉब्लिन्स पूरी ताकत के साथ वापस आए और और भी मज़बूत होने लगे।
00:01:36आप सब्सक्राइब करके मज़बूत बन सकते हैं और गॉब्लिन्स को दूर रख सकते हैं। यह GPT 5.4 के लॉन्च के आसपास
00:01:40हैकर न्यूज़ पर एक पोस्ट थी और आप देख सकते हैं कि पोस्ट करने वाला दावा कर रहा है कि ChatGPT लगभग
00:01:45हर बातचीत में गॉब्लिन का उपयोग करता है, कभी-कभी ग्रेमलिन का भी, और उसकी हालिया चैट ने
00:01:494 में से 3 संदेशों में इसका उपयोग किया था। इन रिपोर्टों के कारण OpenAI ने फिर से जांच की और जब उन्होंने ऐसा किया तो
00:01:54उन्होंने देखा कि प्रत्येक मॉडल रिलीज़ में गॉब्लिन के उपयोग में वृद्धि हुई थी और ChatGPT में "नर्डी" पर्सनैलिटी का
00:02:01उपयोग करने पर गॉब्लिन के उपयोग में भारी 3881.4% की वृद्धि हुई। वास्तव में, "नर्डी" व्यक्तित्व
00:02:06ChatGPT के केवल 2.5% उत्तरों के लिए ज़िम्मेदार था, लेकिन सभी गॉब्लिन उल्लेखों के 66.7% के लिए। उस नर्ड
00:02:15को गॉब्लिन्स बहुत पसंद हैं। इस चार्ट ने उन्हें एक संकेत दिया क्योंकि आप देख सकते हैं कि यह
00:02:19सभी व्यक्तित्व प्रकारों में समान रूप से नहीं फैला है और समस्या "नर्डी" पर्सनैलिटी में बहुत ज़्यादा बढ़ गई है
00:02:23इसलिए उन्हें संदेह हुआ कि उनके पर्सनैलिटी इंस्ट्रक्शन फॉलोइंग ट्रेनिंग में कुछ ऐसा हो सकता है
00:02:27जो इस समस्या का कारण बन रहा था। इसलिए उन्होंने उस सुदृढीकरण सीखने (reinforcement learning) के प्रशिक्षण पर
00:02:32नज़र डालने और गॉब्लिन्स या ग्रेमलिन्स का ज़िक्र करने वाले आउटपुट की तुलना बिल्कुल
00:02:36उन्हीं कार्यों से करने का फैसला किया जिनमें इनका ज़िक्र नहीं था। और यहीं उन्हें पता चला कि एक विशिष्ट रिवॉर्ड सिग्नल,
00:02:41जो AI को नर्डी आवाज़ देने के लिए डिज़ाइन किया गया था, वह मूल रूप से गॉब्लिन्स और ग्रेमलिन्स की ओर झुका हुआ था,
00:02:46जिसका अर्थ है कि उन्होंने जिन डेटासेट का ऑडिट किया, उनमें यदि AI ने अपने उत्तर में
00:02:50गॉब्लिन या ग्रेमलिन शब्द का उपयोग किया, तो सिस्टम ने 76.2% बार उसे उच्च अंक दिए, इसलिए AI गॉब्लिन्स
00:02:57और ग्रेमलिन्स का उपयोग बेहतर ग्रेड के लिए एक प्रकार के चीट कोड के रूप में कर रहा था।
00:03:00तो अब हमारे पास आधा जवाब है। इससे पता चलता है कि यह नर्डी पर्सनैलिटी में अधिक क्यों दिखाई दिया
00:03:04लेकिन यह अन्य व्यक्तित्व प्रकारों में वृद्धि की व्याख्या नहीं करता है। उसके लिए उन्होंने
00:03:08सबसे पहले नर्डी और बाकी दोनों व्यक्तित्वों के लिए प्रशिक्षण आगे बढ़ने के साथ गॉब्लिन्स और ग्रेमलिन्स के प्रसार को देखा,
00:03:12और जबकि बाकी व्यक्तित्वों ने गॉब्लिन्स का उपयोग कम किया,
00:03:17उपयोग की दर उसी सापेक्ष अनुपात में बढ़ी जैसे-जैसे प्रशिक्षण आगे बढ़ा। इसका मतलब है
00:03:21कि भले ही AI को केवल उसके नर्डी मोड में गॉब्लिन शब्दों का उपयोग करने के लिए ये बोनस अंक दिए गए थे,
00:03:25लेकिन यह आदत केवल उसी मोड तक सीमित नहीं रही। AI
00:03:30ट्रेनिंग में, सिर्फ इसलिए कि आप किसी मॉडल को एक विशिष्ट स्थिति में कोई ट्रिक सिखाते हैं, इसका मतलब यह नहीं है
00:03:34कि वह उस ट्रिक को हर जगह इस्तेमाल करने की कोशिश नहीं करेगा। रीइन्फोर्समेंट लर्निंग एक फीडबैक लूप बना रहा था।
00:03:39AI को एक विशिष्ट शैली के लिए इनाम मिलता था और उसने समझ लिया
00:03:43कि गॉब्लिन वह जादुई शब्द है जिससे वह इनाम मिलता है, इसलिए उसने गॉब्लिन्स से भरे हज़ारों
00:03:47अभ्यास उत्तर तैयार करना शुरू कर दिया, लेकिन फिर OpenAI अगले मॉडल को प्रशिक्षित करने के लिए
00:03:52उन अभ्यास उत्तरों का उपयोग करेगा। तो बुरी आदत और गहरी होती गई और गॉब्लिन्स और ग्रेमलिन्स का उपयोग
00:03:57बढ़ता गया। आप देख सकते हैं कि लगभग हर मॉडल रिलीज़ में उपयोग बढ़ रहा था और GPT 5.4 की
00:04:02नर्डी पर्सनैलिटी ने एक भारी उछाल पैदा किया जब तक कि उन्होंने उस व्यक्तित्व को हटा नहीं दिया, लेकिन उसके बाद भी
00:04:07GPT 5.5 के उपयोग में अभी भी वृद्धि देखी गई। इससे भी बेहतर, जब उन्होंने GPT 5.5 के फाइन-ट्यूनिंग
00:04:12डेटा की जाँच की, तो उन्हें कई ऐसे डेटा पॉइंट मिले जिनमें न केवल गॉब्लिन और ग्रेमलिन थे, बल्कि
00:04:16रैकून, ट्रोल्स, ओग्रे और कबूतर भी थे, हालांकि वे ध्यान देते हैं कि मेंढक (frog) का उपयोग ज़्यादातर
00:04:21जायज़ था। हालांकि दुर्भाग्यपूर्ण खबर यह है कि वे इसे ठीक करने पर काम कर रहे हैं, इसलिए
00:04:25गॉब्लिन युग का अंत जल्द ही आ सकता है। जब से उन्होंने उस नर्डी पर्सनैलिटी को हटाया, उन्होंने
00:04:30उस रिवॉर्ड सिग्नल को भी हटा दिया जो गॉब्लिन्स को पसंद करता था और उन्होंने इन काल्पनिक जीवों वाले
00:04:34शब्दों को हटाने के लिए अपने ट्रेनिंग डेटा को फ़िल्टर किया, लेकिन यह GPT 5.5 के रिलीज़ होने के बाद ही किया गया था, इसलिए 5.5 अभी भी उन्हें पसंद करता है
00:04:40और यही कारण है कि कोडेक्स सिस्टम प्रॉम्प्ट में एक वाक्य है कि गॉब्लिन्स, ग्रेमलिन्स, रैकून,
00:04:44ट्रोल्स, ओग्रे, कबूतर या अन्य जानवरों या जीवों के बारे में कभी बात न करें जब तक कि वह
00:04:49प्रॉम्ट से प्रासंगिक न हो। लेकिन अगर आप वास्तव में "गॉब्लिन मोड" को सक्रिय करना चाहते हैं, तो आप वास्तव में
00:04:52कोडेक्स सिस्टम प्रॉम्ट से इसे हटाने के लिए यह कमांड चला सकते हैं और मुझे अच्छा लगा कि वे
00:04:56इस तरह की मज़ेदार चीज़ें करते हैं। तो यह थी ChatGPT की गॉब्लिन समस्या और हालांकि यह
00:05:01एक मज़ेदार कहानी है, यह एक बेहतरीन उदाहरण भी है कि कैसे रिवॉर्ड सिग्नल अप्रत्याशित तरीकों से मॉडल के व्यवहार को आकार देते हैं
00:05:06और कैसे मॉडल कुछ स्थितियों से मिले पुरस्कारों को असंबंधित स्थितियों में सामान्य करना सीख सकते हैं।
00:05:11यह हमें यह भी दिखाता है कि AI शोधकर्ताओं को अभी भी बहुत कुछ सीखना बाकी है और मॉडल अभी भी
00:05:15समय-समय पर अजीब काम करते हैं, और इस जांच के परिणामस्वरूप वास्तव में शोध दल के लिए नए उपकरण मिले हैं
00:05:20ताकि वे मॉडल के व्यवहार का ऑडिट कर सकें और इस तरह की व्यवहार संबंधी समस्याओं को ठीक कर सकें। तो मुझे कमेंट्स में बताएं
00:05:25कि क्या आपने अपनी चैट में कोई गॉब्लिन या जीव देखे हैं और जब आप वहां हों तो सब्सक्राइब करें
00:05:29और हमेशा की तरह, अगले वीडियो में मिलते हैं।