Claude Code और RAG के 7 लेवल्स

하이라이트

• Context Rall (कॉन्टेक्स्ट रॉट) के कारण Claude Code की 1 मिलियन टोकन विंडो 256k भरने पर सटीकता 92% से गिरकर अंत में 78% रह जाती है।

• RAG सिस्टम पारंपरिक LLM की तुलना में जानकारी खोजने में 1200 गुना अधिक सस्ता और 1200 गुना तेज़ परिणाम देता है।

• अध्ययनों के अनुसार claud.md या agents.md जैसी फाइलों में अत्यधिक नियम भरने से मॉडल की प्रभावशीलता वास्तव में कम हो सकती है।

• Obsidian आधारित नॉलेज बेस 80% व्यक्तिगत उपयोगकर्ताओं के लिए पर्याप्त है और यह GraphRAG की तुलना में मुफ़्त और पारदर्शी समाधान प्रदान करता है।

• Gemini Embedding 2 जैसे नए मॉडल अब वेक्टर डेटाबेस में टेक्स्ट के साथ-साथ सीधे वीडियो एम्बेडिंग की सुविधा देते हैं।

• Light RAG एक ओपन-सोर्स ग्राफ सिस्टम है जो नेइव RAG की तुलना में रिट्रीवल सटीकता में 100% तक की वृद्धि दिखा सकता है।

타임라인

1. 00:00 - 09:00

   ऑटो मेमोरी और कॉन्टेक्स्ट रॉट की समस्या

   स्तर 1 पर उपयोगकर्ता अक्सर चैट विंडो को क्लियर करने से डरते हैं क्योंकि उन्हें जानकारी खोने का भय होता है। यह व्यवहार 'कॉन्टेक्स्ट रॉट' को जन्म देता है जहाँ भरा हुआ कॉन्टेक्स्ट मॉडल के लिए शोर (noise) बन जाता है। ऑटो मेमोरी सिस्टम उपयोगकर्ता के नियंत्रण के बिना पोस्ट-इट नोट्स की तरह काम करता है जो अक्सर अप्रासंगिक संदर्भों को जबरदस्ती बातचीत में शामिल कर देता है।

   • Claude Code स्वचालित रूप से .claud/memory फोल्डर में मार्कडाउन फाइलें बनाकर पिछली बातचीत का संदर्भ सुरक्षित करता है।
   • लंबे समय तक एक ही चैट सेशन चलाने से कॉन्टेक्स्ट रॉट होता है जो मॉडल की तर्क क्षमता और सटीकता को महत्वपूर्ण रूप से कम कर देता है।
   • विशाल कॉन्टेक्स्ट विंडो का अनावश्यक उपयोग न केवल प्रदर्शन को खराब करता है बल्कि टोकन की खपत और वित्तीय लागत को भी बढ़ाता है।
2. 09:01 - 12:23

   claud.md और सक्रिय नियम प्रबंधन

   स्तर 2 में उपयोगकर्ता अपनी परंपराओं और प्रोजेक्ट संरचना को परिभाषित करने के लिए claud.md का उपयोग शुरू करते हैं। हालाँकि, शोध बताते हैं कि इन फाइलों को ज़रूरत से ज़्यादा भरने से मॉडल भ्रमित हो जाता है। यहाँ कौशल 'हाई-सिग्नल' कॉन्टेक्स्ट बनाने में है जहाँ कम शब्दों में सटीक निर्देश दिए जाते हैं ताकि कॉन्टेक्स्ट प्रदूषण को रोका जा सके।

   • claud.md फाइल प्रोजेक्ट के लिए 'पवित्र ग्रंथ' की तरह काम करती है जिसे Claude हर प्रॉम्प्ट से पहले पढ़ता है।
   • नियमों की अधिकता मॉडल के आउटपुट की गुणवत्ता को गिरा सकती है क्योंकि हर प्रॉम्प्ट में भारी मात्रा में निर्देश इंजेक्ट किए जाते हैं।
   • प्रभावी मेमोरी प्रबंधन के लिए केवल उन्हीं निर्देशों को claud.md में रखना चाहिए जो प्रोजेक्ट के हर कार्य के लिए अनिवार्य हों।
3. 12:24 - 15:39

   मल्टी-मार्कडाउन और स्टेट फ़ाइल आर्किटेक्चर

   स्तर 3 पर एकल नियम पुस्तिका के बजाय एक 'इंडेक्स' सिस्टम बनाया जाता है। यहाँ claud.md केवल अन्य फाइलों की ओर इशारा करती है। यह घरेलू चंकिंग सिस्टम की तरह है जो हज़ारों दस्तावेज़ों के बिना भी बड़े प्रोजेक्ट्स को व्यवस्थित रख सकता है। यह विधि मॉडल को केवल आवश्यक फ़ाइल लोड करने की अनुमति देकर टोकन दक्षता बढ़ाती है।

   • GSD जैसे ऑर्केस्ट्रेशन टूल जानकारी को project.md, requirements.md और roadmap.md जैसी विशिष्ट फाइलों में विभाजित करते हैं।
   • यह विभाजन क्लॉड कोड को सटीक जानकारी खोजने के लिए एक स्पष्ट पदानुक्रम और नेविगेशन पथ प्रदान करता है।
   • राज्य (state) फाइलों का उपयोग हर सत्र के बाद प्रगति को अपडेट करने और भविष्य के कार्यों की योजना बनाने के लिए किया जाता है।
4. 15:40 - 25:57

   Obsidian आधारित LLM नॉलेज बेस

   स्तर 4 बाहरी उपकरणों के एकीकरण का है। Obsidian में रॉ डेटा, स्टेजिंग और विकी फोल्डर का उपयोग करके जानकारी को इंसानों और AI दोनों के लिए पठनीय बनाया जाता है। क्लॉड कोड के इन-बिल्ट 'grep' टूल का उपयोग करके वह सीधे आवश्यक मार्कडाउन फाइलों को लिंक कर सकता है। यह स्तर जटिल RAG की तुलना में अधिक पारदर्शी है क्योंकि उपयोगकर्ता देख सकता है कि जानकारी कहाँ से आ रही है।

   • Obsidian वॉल्ट को 'क्वासी-RAG' सिस्टम के रूप में उपयोग करना 99% व्यक्तिगत उपयोग के मामलों के लिए सबसे प्रभावी और मुफ़्त समाधान है।
   • आंद्रे कारपेथी का मॉडल रॉ डेटा को विकी-स्टाइल स्ट्रक्चर्ड लेखों में बदलने पर आधारित है जिसे क्लॉड इंडेक्स फाइलों के माध्यम से एक्सेस करता है।
   • उचित पदानुक्रम के साथ एक साधारण फ़ाइल सिस्टम बिना किसी जटिल वेक्टर डेटाबेस के हज़ारों दस्तावेज़ों को संभाल सकता है।
5. 25:58 - 35:27

   नेइव RAG: एम्बेडिंग और वेक्टर डेटाबेस

   स्तर 5 वास्तविक RAG की तकनीकी नींव है। यहाँ जानकारी को 'वेक्टर' के रूप में संग्रहीत किया जाता है जो शब्दों के सांख्यिकीय अर्थ को दर्शाते हैं। हालाँकि यह सिस्टम शक्तिशाली है, लेकिन यह अक्सर एक 'अति-जटिल सर्च इंजन' की तरह व्यवहार करता है। यदि टुकड़ों का सही ढंग से मिलान नहीं होता है या यदि जानकारी कई दस्तावेज़ों में फैली हुई है, तो यह सटीक संबंध नहीं जोड़ पाता।

   • नेइव RAG दस्तावेज़ों को छोटे टुकड़ों (chunks) में तोड़कर उन्हें बहु-आयामी वेक्टर स्पेस में सिमेंटिक अर्थ के आधार पर संग्रहीत करता है।
   • रिट्रीवल प्रक्रिया उपयोगकर्ता के सवाल को वेक्टर में बदलती है और डेटाबेस से सबसे समान वेक्टर्स को जवाब जनरेट करने के लिए खींचती है।
   • इस बुनियादी सिस्टम की मुख्य कमी अलग-अलग टुकड़ों के बीच संबंधों को समझने में विफलता और संदर्भ की कमी है।
6. 35:28 - 39:23

   GraphRAG और Light RAG के लाभ

   स्तर 6 संबंधों पर केंद्रित है। Obsidian के मैन्युअल लिंक्स के विपरीत, Light RAG वास्तविक एम्बेडिंग के माध्यम से स्वचालित रूप से संबंधों को परिभाषित करता है। चार्ट दिखाते हैं कि यह नेइव RAG की तुलना में बहुत बेहतर परिणाम देता है। यह उन व्यवसायों के लिए आदर्श है जिनके पास दस्तावेज़ों का एक विशाल और आपस में जुड़ा हुआ भंडार है।

   • GraphRAG केवल डेटा संग्रहीत नहीं करता बल्कि एंटिटीज़ (इकाइयों) और उनके बीच के संबंधों का एक जाल बनाता है।
   • Light RAG जैसा ओपन-सोर्स इंफ्रास्ट्रक्चर वेक्टर और ग्राफ क्वेरी के हाइब्रिड उपयोग से जटिल सवालों के बेहतर जवाब देता है।
   • यह दृष्टिकोण उन मामलों में अनिवार्य है जहाँ उपयोगकर्ता को यह जानना हो कि दो अलग-अलग दस्तावेज़ों में दी गई जानकारी एक-दूसरे को कैसे प्रभावित करती है।
7. 39:24 - 45:52

   एजेंटिक और मल्टीमॉडल RAG: भविष्य का ढांचा

   अंतिम स्तर 7 डेटा पाइपलाइनों और बुद्धिमानी के बारे में है। यहाँ n8n जैसे टूल्स का उपयोग करके डेटा को साफ़ और अपडेट रखा जाता है। यह स्तर तभी आवश्यक है जब टीम सेटिंग में काम किया जा रहा हो या जानकारी के स्रोत विविध (वीडियो, PDF) हों। निष्कर्ष यह है कि अधिकांश लोगों को सीधे स्तर 7 पर कूदने के बजाय सरल समाधानों से शुरुआत करनी चाहिए।

   • आधुनिक RAG सिस्टम केवल टेक्स्ट ही नहीं बल्कि इमेज, टेबल और सीधे वीडियो डेटा को भी इंडेक्स और क्वेरी कर सकते हैं।
   • एजेंटिक लेयर यह तय करती है कि किसी सवाल का जवाब देने के लिए वेक्टर डेटाबेस, SQL डेटाबेस या सामान्य सर्च में से किसे चुनना है।
   • उत्पादन (production) स्तर पर सफलता डेटा इंजेक्शन की सफाई और पुराने डेटा को सिंक करने की क्षमता पर निर्भर करती है।