एन्थ्रोपिक ने आखिरकार 1M कॉन्टेक्स्ट विंडो की समस्या को ठीक कर दिया

AAI LABS
Computing/SoftwareManagementInternet Technology

Transcript

00:00:001 मिलियन कॉन्टेक्स्ट विंडो सुनने में एक बहुत बड़ा अपग्रेड लगता है, लेकिन असलियत में यह ज्यादातर लोगों की सोच से कहीं ज्यादा खराब है।
00:00:05और यही वह सटीक कारण है जिसके चलते Claude Code पर काम कर रहे इंजीनियर तारिक ने यह लेख लिखा।
00:00:09अगर आपको लगता है कि Claude Code केवल 1 मिलियन टोकन पर खराब होना शुरू होता है, या 1 मिलियन इतना ज्यादा है कि आपको इसके बारे में चिंता करने की ज़रूरत नहीं है, तो आप वास्तव में गलत हैं।
00:00:17क्षमता में गिरावट विंडो के आधे हिस्से से काफी पहले ही शुरू हो जाती है।
00:00:21और जिस उपाय का इस्तेमाल ज्यादातर लोग करते हैं, यानी कॉम्पेक्शन (compaction), वह आमतौर पर इसे और खराब बना देता है।
00:00:24इस वीडियो के अंत तक, आप बिल्कुल जान जाएंगे कि Claude Code को और अधिक मूर्ख बनने से कैसे रोकें, ठीक वैसे ही जैसे एंथ्रोपिक (Anthropic) की टीम इसे करती है।
00:00:31Claude Code में गिरावट महसूस होती है, भले ही खुद मॉडल वास्तव में शक्तिशाली हों।
00:00:35आपने शायद गौर किया होगा कि यह ज्यादा 'हैलुसिनेट' करता है, आपको उन निर्देशों को बार-बार याद दिलाना पड़ता है जो आपने पहले दिए थे, और लंबे समय में यह उन निर्देशों को भूल जाता है।
00:00:44हमने भी यह गौर किया जब हम लंबे टास्क चला रहे थे, और Claude का प्रदर्शन कमजोर महसूस हुआ।
00:00:48लेकिन इसके पीछे एक पूरी वजह है।
00:00:50Opus 4.5 के बाद के सभी मॉडल अब पिछले 200,000 की बजाय 1 मिलियन कॉन्टेक्स्ट विंडो के साथ आते हैं।
00:00:56हालांकि यह अपग्रेड सुनने में ऐसा लगता है कि हमारी पुरानी अधिकांश समस्याएं 1 मिलियन कॉन्टेक्स्ट विंडो के साथ दूर हो जाएंगी, लेकिन यह केवल सिद्धांत में अच्छा लगता है।
00:01:03क्योंकि अब आप पहले की तुलना में कॉन्टेक्स्ट विंडो में एक साथ ज्यादा चीजें फिट कर सकते हैं, और उसे अधिक दस्तावेजों और जानकारी के साथ 'ग्राउंड' कर सकते हैं ताकि Claude उस काम से न भटके जो उसे करना है।
00:01:121 मिलियन कॉन्टेक्स्ट विंडो उन समस्याओं की चिंता किए बिना जो हम पहले झेलते थे, लंबे समय तक चलने वाले कार्यों के द्वार भी खोलती है।
00:01:19लेकिन बात यह है कि, यह सब पूरी तरह से हल नहीं हुआ है।
00:01:221 मिलियन कॉन्टेक्स्ट विंडो वास्तव में एक दोधारी तलवार है।
00:01:26हालांकि यह Claude को लंबा चलने और एक साथ अधिक जानकारी रखने देती है, लेकिन यह सब एक कीमत पर आता है।
00:01:30यह 'कॉन्टेक्स्ट रॉट' (context rot) के द्वार खोलता है।
00:01:32कॉन्टेक्स्ट रॉट का मतलब है कि कॉन्टेक्स्ट विंडो में अधिक जानकारी होने के साथ मॉडल का प्रदर्शन खराब हो जाता है, क्योंकि ब्लोटेड कॉन्टेक्स्ट विंडो के साथ, उसके पास ध्यान देने के लिए ज्यादा चीजें होती हैं और वह केंद्रित नहीं रह पाता।
00:01:42और 1 मिलियन कॉन्टेक्स्ट विंडो के साथ, आपका कॉन्टेक्स्ट बहुत ज्यादा भर जाता है, जिसका मतलब है कि Claude के तर्क (reasoning) में हस्तक्षेप करने के लिए 200,000 कॉन्टेक्स्ट विंडो की तुलना में कहीं अधिक जानकारी उपलब्ध है।
00:01:53कॉन्टेक्स्ट रॉट केवल अत्यधिक भरी हुई कॉन्टेक्स्ट विंडो में ही नहीं होता है।
00:01:57Claude Code के निर्माता के अनुसार, कॉन्टेक्स्ट रॉट वास्तव में 300 से 400,000 टोकन के आसपास होना शुरू हो जाता है, जो कि 1 मिलियन से काफी कम है, यानी सिर्फ 40% उपयोग।
00:02:07इसलिए कॉन्टेक्स्ट विंडो के आकार से कोई फर्क नहीं पड़ता, हमें कॉन्टेक्स्ट रॉट को रोकने के लिए उपाय करने होंगे।
00:02:11और यह जानना वास्तव में बदल देगा कि आप 1 मिलियन कॉन्टेक्स्ट विंडो के साथ कैसे काम करते हैं।
00:02:15अब एक संक्षिप्त पुनरावृत्ति (recap)।
00:02:16कॉन्टेक्स्ट विंडो वह सब कुछ है जो मॉडल एक बार में देखता है, जिसमें अब तक की बातचीत, Claude.md फ़ाइल, सिस्टम प्रॉम्प्ट, सेशन में पढ़ी गई फ़ाइलें, और हर टूल कॉल का आउटपुट शामिल है।
00:02:26प्रत्येक प्रॉम्प्ट और अधिक जोड़ता है, और एक बार विंडो भर जाने पर, आप एक ताज़ा विंडो के साथ जारी रखने के लिए सारांशित करते हैं, जिसे कॉम्पेक्शन कहा जाता है।
00:02:32यदि आप कॉन्टेक्स्ट का सही ढंग से प्रबंधन नहीं करते हैं, तो चार तरीके हैं जिनसे आपका एजेंट विफल हो सकता है।
00:02:37यह लंबे समय तक चलने वाले एजेंटों में और भी अधिक स्पष्ट और समस्याग्रस्त हो जाता है।
00:02:40कॉन्टेक्स्ट पॉल्यूशन (प्रदूषण) पहला है, जिस पर हमने पहले ही चर्चा की है और यही कारण है कि यह होता है।
00:02:45गोल ड्रिफ्ट (लक्ष्य से भटकना) दूसरा है।
00:02:46यह तब होता है जब आपका एजेंट उस काम से दूर हो जाता है जो उसे करना है क्योंकि उसके पास उस समय ध्यान केंद्रित करने के लिए बहुत सारी चीजें हैं, या सरल शब्दों में, यह उन लक्ष्यों को भूल गया है जिन पर इसे काम करना था।
00:02:55यह अक्सर तब हो सकता है यदि आप Claude Code के साथ काम कर रहे हैं, जहाँ आप चाहते हैं कि आपका UI एक निश्चित तरीके से दिखे और आपने पहले ही इसे निर्दिष्ट कर दिया है, लेकिन यह उसका पालन नहीं करता है और आपको इसे वास्तविक लक्ष्य की याद दिलानी पड़ती है।
00:03:05मेमोरी करप्शन (स्मृति भ्रष्टाचार) तीसरा है, और यह तब होता है जब निष्पादन के दौरान, एजेंट की आंतरिक स्थिति या संग्रहीत तथ्य गलत हो जाते हैं, और यह उस दोषपूर्ण स्थिति के आधार पर कार्य करना जारी रखता है।
00:03:14जब एजेंट लंबे समय तक चलते हैं, तो सटीक कारण का पता लगाना अक्सर कठिन होता है, यह स्पष्ट नहीं होता कि गलती कहाँ से उत्पन्न हुई।
00:03:21उदाहरण के लिए, मेमोरी करप्शन ऐसा दिख सकता है जैसे एजेंट द्वारा ही किसी फ़ाइल को एक तरीके से लिखा गया हो और फिर उसे किसी सब-एजेंट द्वारा संशोधित किया गया हो जो वर्तमान कॉन्टेक्स्ट में नहीं है।
00:03:29एजेंट वापस अपनी पुरानी मेमोरी को संदर्भित करता है और ऐसे कार्य करना जारी रखता है जैसे कि फ़ाइल अभी भी उसी रूप में मौजूद है जिसे उसने मूल रूप से बनाया था।
00:03:37डिसीजन इनएक्यूरेसी (निर्णय की अशुद्धि) आखिरी है।
00:03:39यह तब होता है जब एक एजेंट लगभग समान स्थितियों में विरोधाभासी विकल्प चुनता है, जैसे एक जगह एक एरर हैंडलिंग पैटर्न का उपयोग करना और दूसरी जगह एक अलग का।
00:03:48ये सभी समस्याएं तब होती हैं जब कॉन्टेक्स्ट का प्रबंधन ठीक से नहीं किया जाता है और वे एजेंटों के दीर्घकालिक प्रदर्शन को प्रभावित करते हैं।
00:03:53ये बिल्कुल वही कारक हैं जिन्हें अधिकांश एजेंट हार्नेस अनुकूलित (optimize) करने का प्रयास करते हैं।
00:03:57तो एक बार जब आपने Claude से कुछ करने के लिए कहा और उसने इसे पूरा कर लिया है, तो आपके अगले निर्देश के संदर्भ में आगे क्या होता है, इसके लिए वास्तव में पांच संभावित विकल्प हैं।
00:04:06प्रत्येक इस बात पर निर्भर करता है कि आपका अगला प्रॉम्प्ट क्या है।
00:04:08यदि आप प्रत्येक का सही ढंग से उपयोग करते हैं, तो Claude के साथ काम करने का आपका तरीका बहुत बेहतर हो सकता है।
00:04:12हालांकि सबसे स्वाभाविक विकल्प केवल जारी रखना है, अन्य विकल्प वास्तव में आपको अपने कॉन्टेक्स्ट को अधिक प्रभावी ढंग से प्रबंधित करने में मदद करते हैं।
00:04:18इसलिए आपको सावधानीपूर्वक निर्णय लेने की आवश्यकता है कि क्या आप वास्तव में उसी प्रवाह में जारी रखना चाहते हैं या नया सत्र शुरू करना चाहते हैं।
00:04:24एक बार कॉन्टेक्स्ट भर जाने के बाद, आपके पास कॉन्टेक्स्ट को हटाने के दो तरीके हैं और पहला विकल्प कॉम्पेक्शन है, जिसे हमने मौजूदा सामग्री के सारांश के रूप में समझाया है।
00:04:32लेकिन आपको इस बारे में स्पष्ट होना चाहिए कि आप वास्तव में कब सारांशित करना चाहते हैं क्योंकि सारांश 'लॉसी' (lossy) है और बहुत सारे विवरण जो आपको महत्वपूर्ण लग सकते हैं लेकिन Claude के लिए नहीं, वे हटाए जा सकते हैं।
00:04:41नतीजतन, महत्वपूर्ण कॉन्टेक्स्ट कॉन्टेक्स्ट विंडो में मौजूद नहीं हो सकता है।
00:04:44Claude को ऑटो-कॉम्पैक्ट हिट करने देने के बजाय खुद कॉम्पेक्शन को नियंत्रित करना बेहतर है क्योंकि जब यह टास्क के बीच में ट्रिगर होता है, तो कॉम्पेक्शन और भी गड़बड़ हो जाता है।
00:04:52यह उन चीजों को रखने की कोशिश करता है जिन्हें वह महत्वपूर्ण मानता है और उन सभी को हटा देता है जिनकी उसे ज़रूरत नहीं पड़ेगी, इसलिए कॉम्पेक्शन के दौरान Claude वास्तव में सबसे कम विश्वसनीय होता है।
00:05:00उस बिंदु पर, Claude का ध्यान पूरी तरह से सारांश पर होता है और इसे सिस्टम प्रॉम्प्ट और अन्य तत्वों जैसे सहायक कॉन्टेक्स्ट से अलग कर दिया जाता है जो सामान्य रूप से इसे और अधिक सक्षम बनाते हैं।
00:05:08यह फिर अपने स्वयं के अनुमानों पर बहुत अधिक निर्भर करता है कि क्या महत्वपूर्ण है, जो अक्सर खराब कॉम्पेक्शन निर्णयों की ओर ले जा सकता है।
00:05:14खराब कॉम्पेक्शन आमतौर पर तब होता है जब मॉडल आपके काम की दिशा को स्पष्ट रूप से निर्धारित नहीं कर पाता है।
00:05:19उदाहरण के लिए, यदि आप एक लंबे डिबगिंग सत्र में हैं और ऑटो-कॉम्पेक्शन के बाद पहले कोई चेतावनी मिली थी, तो यदि आप उसे उस विशिष्ट चेतावनी को ठीक करने के लिए कहते हैं, तो उसे नहीं पता होगा कि आप किस चेतावनी की बात कर रहे हैं।
00:05:29यह इसलिए होता है क्योंकि सत्र पूरी तरह से डिबगिंग पर केंद्रित था, इसलिए डिबगिंग गतिविधि का केवल एक सामान्य सारांश ही रखा गया था और विशिष्ट चेतावनी को शोर (noise) माना गया और हटा दिया गया।
00:05:39रेसीनसी बायस (हालिया पूर्वाग्रह) इसे और खराब कर देता है।
00:05:41जब कॉम्पेक्शन ट्रिगर होता है, तो प्रॉम्प्ट इस बात को प्राथमिकता देता है कि हाल ही में क्या काम किया जा रहा था, उसके विवरण को सुरक्षित रखा जाए।
00:05:46इसलिए पुरानी लेकिन फिर भी महत्वपूर्ण जानकारी को अनदेखा किया जा सकता है या छोड़ दिया जा सकता है।
00:05:50यदि कॉम्पेक्शन के बाद कुछ गलत किया गया था, तो मॉडल अब इसके बारे में जागरूक नहीं हो सकता है।
00:05:54इसके पास केवल ट्रांसक्रिप्ट-स्तरीय सारांश तक पहुंच होती है, न कि प्रोजेक्ट की पूर्ण स्थिति तक, क्योंकि कॉम्पेक्शन के दौरान टूल कॉल इतिहास पूरी तरह से संरक्षित नहीं होता है।
00:06:01आप ऑटो-कॉम्पेक्शन कब होता है, इसे नियंत्रित करने के लिए फ्लैग सेट कर सकते हैं, लेकिन यह कुछ ऐसा है जिसे आपको अक्सर सक्रिय रूप से प्रबंधित करना चाहिए।
00:06:07निर्माता द्वारा बताए गए 300,000 से 400,000 की सीमा के आसपास कॉम्पेक्शन ट्रिगर करें, क्योंकि आमतौर पर यहीं से कॉन्टेक्स्ट रॉट दिखाई देने लगता है, और हमेशा खुद एक कॉम्पेक्शन निर्देश दें, क्योंकि Claude अधिक सावधानी से प्रतिक्रिया करता है जब स्पष्ट निर्देश शामिल होते हैं।
00:06:22उसे बताएं कि किन निर्णयों, बाधाओं और खोजी गई समस्याओं को आगे ले जाना है ताकि वह जान सके कि किसे प्राथमिकता देनी है।
00:06:27इसलिए आपको तब 'कॉम्पैक्ट' हिट करना चाहिए जब आप वास्तव में पिछले टास्क फ्लो से कॉन्टेक्स्ट को नई विंडो में ले जाना चाहते हैं, न कि तब जब आप एक नई शुरुआत करना चाहते हैं।
00:06:34लेकिन आगे बढ़ने से पहले, हमारे प्रायोजक के बारे में एक शब्द।
00:06:37Verdant, एक एआई-संचालित प्लेटफॉर्म जो बिल्डरों को विचारों को शिप किए गए उत्पादों में बदलने में मदद करता है।
00:06:41आप निर्माण के बीच में हैं, आखिरकार जोन में हैं, और आपके क्रेडिट खत्म हो जाते हैं।
00:06:45आपका एआई मर जाता है, गति खत्म हो जाती है।
00:06:47हर एआई कोडिंग टूल आपके साथ ऐसा करता है, लेकिन Verdant नहीं करता।
00:06:50जब आपके क्रेडिट शून्य हो जाते हैं, तो बस इको मोड पर स्विच करें, एक शून्य-लागत मोड जो एक और डॉलर खर्च किए बिना आपके एआई को चालू रखता है।
00:06:56कोई रुकावट नहीं, कोई टॉप-अप नहीं, कोई खोई हुई गति नहीं।
00:06:59आप बस निर्माण जारी रखते हैं।
00:07:00और जब आपके पास क्रेडिट होते हैं, तो आप Claude, GPT, या Gemini के बीच चुनने में नहीं फंसते।
00:07:04Verdant का मल्टी-प्लान मोड तीनों को एक साथ एक निर्णय समिति की तरह चलाता है, जो आपको मॉडल की चिंता के बिना बेहतर योजनाएं देता है।
00:07:10और भी अधिक लचीलापन चाहिए?
00:07:11BYOK आपको अपनी खुद की एपीआई कुंजी को सीधे Verdant में प्लग करने देता है।
00:07:15अपनी कंपनी के Claude या GPT क्रेडिट का उपयोग करें, कोई प्लेटफॉर्म शुल्क नहीं।
00:07:18आप केवल उसी के लिए भुगतान करते हैं जिसका आप वास्तव में उपयोग करते हैं।
00:07:20आपको परीक्षण करने के लिए 100 क्रेडिट और 7 दिन मिलते हैं।
00:07:23पिन किए गए कमेंट में लिंक पर क्लिक करें और Verdant को मुफ्त में आज़माएं।
00:07:26दूसरा विकल्प 'क्लियर' कमांड का उपयोग करना है, जो सभी कॉन्टेक्स्ट को हटा देता है और खाली कॉन्टेक्स्ट के साथ एक नया सत्र शुरू करता है।
00:07:32कॉम्पेक्शन के विपरीत, कुछ भी आगे नहीं ले जाया जाता है, और केवल वही रहता है जो आप फिर से प्रदान करते हैं, कॉन्टेक्स्ट विंडो में।
00:07:37कॉम्पेक्शन की तरह ही, आपको केवल तब क्लियर का उपयोग नहीं करना चाहिए जब आप कॉन्टेक्स्ट से बाहर हो जाते हैं।
00:07:41यदि आप किसी असंबंधित कार्य पर स्विच कर रहे हैं, तो सत्र को क्लियर करना और ताजा शुरुआत करना सीधा है, ताकि पिछला कार्य नए कार्य में हस्तक्षेप न करे।
00:07:49उदाहरण के लिए, यदि आप एजेंट को उस एप्लिकेशन के लिए टेस्ट केस लिखने के लिए कहते हैं जिस पर आप काम कर रहे हैं, तो आप शायद नहीं चाहेंगे कि वह यह विवरण रखे कि वे टेस्ट केस कैसे उत्पन्न किए गए थे।
00:07:57उसी कॉन्टेक्स्ट के भीतर डिबगिंग जारी रखने के बजाय, आप एक ताजा सत्र शुरू कर सकते हैं।
00:08:01इस तरह Claude आपके एप्लिकेशन को डिबग करने पर अधिक प्रभावी ढंग से काम कर सकता है बिना इस बात से प्रभावित हुए कि उसने पहले टेस्ट केस कैसे उत्पन्न किए थे।
00:08:08अब एक और दृष्टिकोण है जिसका आप उपयोग कर सकते हैं जो क्लियर और कॉम्पेक्शन दोनों को जोड़ता है।
00:08:12यह आपको केवल वही बनाए रखने की अनुमति देता है जो आप चाहते हैं और बाकी सब कुछ छोड़ देते हैं।
00:08:16विचार एक संरचित JSON प्रारूप का उपयोग करना है जो उस जानकारी को कैप्चर करता है जिसे आप संरक्षित करना चाहते हैं।
00:08:21आप एक कस्टम कमांड बना सकते हैं ताकि आप इसे अक्सर पुन: उपयोग कर सकें।
00:08:24उस कमांड में, आप एक JSON संरचना शामिल कर सकते हैं जिसमें पूरा टास्क, वर्तमान स्थिति, बाधाएं, खोजी गई समस्याएं और कोई अन्य प्रासंगिक विवरण हो जिसे आप Claude से बनाए रखना चाहते हैं और फिर उसे इसे एक फ़ाइल में सहेजने का निर्देश दें।
00:08:35यह दृष्टिकोण आपको दोनों विधियों का सर्वोत्तम लाभ उठाने देता है।
00:08:38एक बार जब आप कमांड चलाते हैं, तो यह पूरी बातचीत और एप्लिकेशन की वर्तमान स्थिति का विश्लेषण करेगा, कुछ ऐसा जिसे एक सामान्य कॉम्पेक्शन विश्वसनीय रूप से संरक्षित नहीं करता है, और सब कुछ फ़ाइल में सहेज देगा जैसा कि निर्दिष्ट किया गया है।
00:08:48एक स्कीमा 'प्रोस' (pros) से कहीं अधिक सख्त है, इसलिए जब Claude एक परिभाषित संरचना का पालन करता है, तो वह अधिक लगातार और सटीक रूप से प्रतिनिधित्व कर सकता है कि क्या महत्वपूर्ण है।
00:08:56जानकारी को फ़ाइल में सहेजने के बाद, आप कॉन्टेक्स्ट विंडो से सब कुछ हटाने के लिए सुरक्षित रूप से क्लियर कमांड का उपयोग कर सकते हैं।
00:09:02फिर आप एक नया सत्र शुरू कर सकते हैं और Claude को उस दस्तावेज़ को वापस संदर्भित करने का निर्देश दे सकते हैं ताकि कॉन्टेक्स्ट एकत्र किया जा सके और वहाँ से अगला कार्य लागू किया जा सके।
00:09:14जैसा कि पहले उल्लेख किया गया है, जैसे-जैसे कॉन्टेक्स्ट बढ़ता है, एजेंट का ध्यान भटक सकता है क्योंकि ध्यान के लिए प्रतिस्पर्धा करने वाली जानकारी अधिक होती है और यह 1 मिलियन कॉन्टेक्स्ट विंडो के साथ और भी अधिक ध्यान देने योग्य है।
00:09:23यह अभ्यास उन गोल ड्रिफ्ट समस्या और निर्णय असंगति मुद्दों दोनों को संबोधित करने में मदद करता है जिन पर हमने पहले चर्चा की थी।
00:09:29लंबे समय तक चलने वाले कार्य में लगातार आगे बढ़ने के बजाय, समय-समय पर रुकना और एजेंट को यह बताने के लिए कहना उपयोगी है कि उसने अब तक क्या किया है, साथ ही बाधाएं और अन्य महत्वपूर्ण कारक।
00:09:39जब आप ऐसा करते हैं, तो यह मूल लक्ष्यों को सुदृढ़ करता है और प्रमुख विवरणों को कॉन्टेक्स्ट विंडो के अधिक हालिया हिस्से में वापस लाता है, बजाय उन्हें पुराने अनुभागों में दफन छोड़ देने के।
00:09:48यह सुनिश्चित करने में मदद करता है कि महत्वपूर्ण जानकारी एजेंट के कार्यशील कॉन्टेक्स्ट में ताज़ा रहे और कॉम्पेक्शन के दौरान खो जाने या समय के साथ कम होने की संभावना कम हो,
00:09:56ताकि एजेंट उस कार्य के साथ अधिक संरेखित रहे जो उसे करना है और अपने निर्णयों में बेहतर निरंतरता बनाए रखे।
00:10:02साथ ही, यदि आप हमारी सामग्री का आनंद ले रहे हैं, तो हाइप बटन दबाने पर विचार करें, क्योंकि यह हमें इस तरह की और सामग्री बनाने और अधिक लोगों तक पहुंचने में मदद करता है।
00:10:09सब-एजेंट बहुत ज्यादा नहीं दिख सकते हैं, लेकिन वे वास्तव में कॉन्टेक्स्ट को प्रबंधित करने का एक बहुत महत्वपूर्ण तरीका हैं।
00:10:14प्रत्येक सब-एजेंट अपना स्वतंत्र इंस्टेंस है, जिसमें एक समर्पित कॉन्टेक्स्ट विंडो, पूर्ण टूल एक्सेस और वे अनुमतियाँ हैं जिनकी उसे अपना कार्य पूरा करने के लिए आवश्यकता है।
00:10:22वे असाइन किए गए काम को उस अलग कॉन्टेक्स्ट में निष्पादित करते हैं जो पैरेंट एजेंट द्वारा प्रदान किया जाता है और फिर केवल अंतिम आउटपुट को मुख्य कॉन्टेक्स्ट में वापस लौटाते हैं।
00:10:30इसलिए उसके द्वारा किए गए सभी टूल कॉल, पढ़ी गई फ़ाइलें, वेब खोजें, और मध्यवर्ती तर्क सब-एजेंट के अपने कॉन्टेक्स्ट में रहते हैं और मुख्य एजेंट की कॉन्टेक्स्ट विंडो को प्रदूषित नहीं करते हैं।
00:10:40यह कॉन्टेक्स्ट रॉट को कम करने का एक प्रभावी तरीका है। शोध कार्य इसका सबसे स्पष्ट उदाहरण हैं।
00:10:45एजेंट कई वेबसाइटों, पृष्ठों और स्रोतों से गुजरता है, और आप नहीं चाहेंगे कि वह सभी कच्ची जानकारी मुख्य कॉन्टेक्स्ट विंडो में लगातार जोड़ी जाए।
00:10:53ऐसे मामलों में, एक सब-एजेंट स्वतंत्र रूप से काम संभाल सकता है और केवल अंतिम संश्लेषण लौटा सकता है।
00:10:58सब-एजेंट का उपयोग करने से पहले आपको खुद से जो मुख्य प्रश्न पूछना चाहिए, वह यह है कि क्या आपको फिर से मध्यवर्ती चरणों तक पहुंच की आवश्यकता होगी, या क्या आप केवल अंतिम आउटपुट की परवाह करते हैं।
00:11:07Claude Code भी सब-एजेंट ऑर्केस्ट्रेशन को अपने दम पर प्रबंधित करता है और स्वचालित रूप से कार्यों को संभालने के लिए एजेंटों को उत्पन्न कर सकता है।
00:11:13लेकिन कभी-कभी आपको अपने प्रॉम्प्ट में स्पष्ट रूप से निर्दिष्ट करने की आवश्यकता होती है कि आप चाहते हैं कि काम एक सब-एजेंट को सौंप दिया जाए ताकि इसे अलगाव में संभाला जा सके।
00:11:20इसलिए यदि आप शोध कार्यों, रिफैक्टरिंग कार्यों, सारांश, या दस्तावेज़ निर्माण पर काम कर रहे हैं, तो आपको अपने मुख्य एजेंट के बजाय सब-एजेंटों का उपयोग करके उन्हें अलग करने पर विचार करना चाहिए।
00:11:30अंतिम लेकिन कम नहीं, बस सुधार करने की तुलना में रिवाइंडिंग वास्तव में महत्वपूर्ण है क्योंकि यह कॉन्टेक्स्ट विंडो से अप्रासंगिक या गलत भागों को हटा देता है जबकि केवल सही स्थिति को रखता है।
00:11:40जब भी Claude किसी गलती में पड़ता है, तो लोग अक्सर इसे दूसरा दृष्टिकोण अपनाने के लिए फिर से प्रॉम्प्ट करने की कोशिश करते हैं।
00:11:44लेकिन एक बेहतर विकल्प इसके बजाय रिवाइंड करना है और फिर नए प्रॉम्प्ट में सही दिशा प्रदान करना है।
00:11:49आप ऐसा करने के लिए रिवाइंड कमांड का उपयोग कर सकते हैं या एस्केप कुंजी को दो बार दबा सकते हैं।
00:11:53रिवाइंड करने के बाद, आप उस बिंदु से सारांशित भी कर सकते हैं ताकि उस चरण तक की बातचीत उपयोगी कॉन्टेक्स्ट के रूप में संरक्षित रहे जबकि उन भागों को हटा दिया जाए जो समस्या का कारण बने।
00:12:01रिवाइंडिंग के कई लाभ हैं।
00:12:03पहला, यह कॉन्टेक्स्ट विंडो को उस हिस्से को हटाकर साफ करता है जहाँ चीजें गलत हो गईं, जिसके परिणामस्वरूप एक क्लीनर कॉम्पेक्शन सारांश मिलता है जो केवल सही कार्यान्वयन को संरक्षित करता है।
00:12:12भले ही आप महत्वपूर्ण जानकारी को पिन करें, आप उन अनुभागों को आगे ले जाने से बचते हैं जहाँ एजेंट लक्ष्य से भटक गया, जो निर्णय असंगति और गोल ड्रिफ्ट दोनों को कम करने में मदद करता है।
00:12:21यदि आप सब-एजेंटों का उपयोग कर रहे हैं, तो रिवाइंडिंग यह सुनिश्चित करती है कि उन्हें तब साफ और अधिक सटीक कॉन्टेक्स्ट प्राप्त हो जब कार्य सौंपे जाते हैं, ताकि गलत दृष्टिकोण उनके कार्यशील स्थिति में शामिल न हों।
00:12:30इसी तरह, यदि आप हैंडऑफ़ कमांड का उपयोग करते हैं, तो यह एप्लिकेशन की सही स्थिति को कैप्चर करता है न कि दूषित या पुरानी स्थिति को।
00:12:37इसलिए आगे बार-बार सुधार करने के बजाय रिवाइंडिंग करने की आदत बनाएं ताकि एजेंट पूरे सत्र में लगातार एक साफ और सटीक स्थिति से काम करे।
00:12:45यह हमें इस वीडियो के अंत तक लाता है।
00:12:47यदि आप चैनल का समर्थन करना चाहते हैं और हमें इस तरह के वीडियो बनाना जारी रखने में मदद करना चाहते हैं, तो आप नीचे दिए गए 'सुपर थैंक्स' बटन का उपयोग करके ऐसा कर सकते हैं।
00:12:54हमेशा की तरह, देखने के लिए धन्यवाद और मैं आपसे अगले में मिलूंगा।

Key Takeaway

Claude की 1 मिलियन कॉन्टेक्स्ट विंडो के प्रभावी उपयोग के लिए ऑटो-कॉम्पेक्शन पर निर्भर रहने के बजाय 300,000-400,000 टोकन के बीच मैन्युअल कॉम्पेक्शन, सब-एजेंटों का उपयोग और गलत चरणों पर रिवाइंड करना अनिवार्य है।

Highlights

Claude मॉडल 300,000 से 400,000 टोकन के बाद कॉन्टेक्स्ट रॉट (Context Rot) के कारण प्रदर्शन में गिरावट महसूस करते हैं, जो 1 मिलियन की अधिकतम सीमा का केवल 40% है।

स्वचालित कॉम्पेक्शन (Auto-compaction) अक्सर महत्वपूर्ण जानकारी को शोर समझकर हटा देता है, जिससे एजेंट का प्रदर्शन खराब होता है।

कॉन्टेक्स्ट को प्रबंधित करने के लिए 300,000-400,000 टोकन की सीमा पर मैन्युअल रूप से कॉम्पेक्शन ट्रिगर करना सबसे प्रभावी है।

सब-एजेंटों का उपयोग करने से मुख्य एजेंट की कॉन्टेक्स्ट विंडो प्रदूषित नहीं होती, क्योंकि सब-एजेंट अपने स्वतंत्र इंस्टेंस में कार्य करते हैं।

त्रुटिपूर्ण व्यवहार को ठीक करने के लिए बार-बार निर्देश देने के बजाय रिवाइंड (Rewind) कमांड का उपयोग करना सबसे अच्छा है, ताकि दूषित स्थिति को हटाया जा सके।

Timeline

1 मिलियन कॉन्टेक्स्ट विंडो और कॉन्टेक्स्ट रॉट

  • 1 मिलियन कॉन्टेक्स्ट विंडो का उपयोग करने पर मॉडल के प्रदर्शन में गिरावट आती है।
  • कॉन्टेक्स्ट रॉट तब होता है जब जानकारी की अधिकता के कारण मॉडल केंद्रित नहीं रह पाता।
  • यह समस्या क्षमता के 40% उपयोग यानी 300,000 से 400,000 टोकन पर ही शुरू हो जाती है।

अधिक कॉन्टेक्स्ट होने से मॉडल के पास ध्यान भटकाने वाली जानकारी बढ़ जाती है। 1 मिलियन टोकन की सीमा सुनने में बड़ी लगती है, लेकिन व्यवहार में यह मॉडल के तर्क करने की क्षमता में हस्तक्षेप करती है। यह केवल आकार का मामला नहीं है, बल्कि कॉन्टेक्स्ट के बेहतर प्रबंधन की आवश्यकता है।

कॉन्टेक्स्ट प्रबंधन की विफलताएं

  • कॉन्टेक्स्ट का गलत प्रबंधन गोल ड्रिफ्ट, मेमोरी करप्शन और डिसीजन इनएक्यूरेसी जैसी समस्याएं पैदा करता है।
  • ऑटो-कॉम्पेक्शन के दौरान एजेंट अपने लक्ष्यों को भूल सकता है और गलत निर्देश अपना सकता है।

एजेंट द्वारा लक्ष्य से भटकना (गोल ड्रिफ्ट) या आंतरिक स्थिति का गलत होना (मेमोरी करप्शन) मुख्य समस्याएं हैं। जब एजेंट लंबे समय तक चलते हैं, तो यह पता लगाना मुश्किल होता है कि गलती कहाँ हुई। गलत प्रबंधन एजेंटों के दीर्घकालिक प्रदर्शन को नकारात्मक रूप से प्रभावित करता है।

कॉम्पेक्शन और क्लियरिंग तकनीक

  • ऑटो-कॉम्पेक्शन के बजाय मैन्युअल कॉम्पेक्शन पर नियंत्रण रखें ताकि महत्वपूर्ण जानकारी न हटे।
  • असंबंधित कार्यों के लिए क्लियर कमांड का उपयोग करके ताज़ा सत्र शुरू करना बेहतर है।
  • संरचित JSON प्रारूप का उपयोग करके जानकारी को फ़ाइल में सहेजना सबसे विश्वसनीय तरीका है।

सारांश (कॉम्पेक्शन) लॉसी (lossy) होता है और अक्सर महत्वपूर्ण विवरण हटा दिए जाते हैं। स्पष्ट निर्देशों के साथ मैन्युअल रूप से कॉम्पेक्शन करना या सब कुछ साफ़ करके JSON फ़ाइल में स्थिति सहेजना बेहतर है। यह सुनिश्चित करता है कि अगला सत्र पिछली गलतियों से प्रभावित न हो।

सब-एजेंट्स और रिवाइंडिंग

  • सब-एजेंट स्वतंत्र कॉन्टेक्स्ट विंडो का उपयोग करते हैं और मुख्य एजेंट की विंडो को प्रदूषित नहीं करते।
  • गलतियों को सुधारने के लिए रिवाइंड कमांड का उपयोग करना सबसे प्रभावी तरीका है।
  • रिवाइंडिंग कॉन्टेक्स्ट विंडो से गलत जानकारी हटाकर उसे साफ रखती है।

सब-एजेंट शोध जैसे कार्यों के लिए उपयुक्त हैं, जहाँ कच्चे डेटा को मुख्य कॉन्टेक्स्ट में रखने की आवश्यकता नहीं होती। रिवाइंडिंग के जरिए मॉडल को गलत दिशा से वापस लाकर सही आधार पर कार्य करने के लिए मजबूर किया जाता है। इससे बार-बार निर्देश देने की तुलना में परिणाम अधिक सटीक और सुसंगत रहते हैं।

Community Posts

View all posts