00:00:00आइए क्लॉड कोड और मेमोरी की समस्या को हल करते हैं ताकि AI सिस्टम को विश्वसनीय और सटीक रूप से
00:00:06पिछली बातचीत या दस्तावेजों के विशाल भंडारों के बारे में सवालों के जवाब देने के लिए तैयार किया जा सके, यह एक ऐसी समस्या है जिसे हम
00:00:13वर्षों से हल करने की कोशिश कर रहे हैं और इसकी विशिष्ट प्रतिक्रिया रही है RAG यानी रिट्रीवल ऑगमेंटेड जनरेशन और
00:00:20हालाँकि इस वीडियो का शीर्षक "क्लॉड कोड और RAG के सात स्तर" है, लेकिन यह वीडियो वास्तव में
00:00:26क्लॉड कोड और सामान्य रूप से AI सिस्टम और मेमोरी की उस समस्या का विश्लेषण करने के बारे में है और
00:00:33इससे भी महत्वपूर्ण बात यह है कि यह वीडियो आपको एक रोडमैप देने के बारे में है जो आपको दिखाता है कि आप
00:00:37AI सिस्टम और मेमोरी के बीच की इस लड़ाई में कहाँ खड़े हैं और अगले स्तर तक पहुँचने के लिए आप क्या कर सकते हैं। तो जैसे-जैसे हम
00:00:43क्लॉड कोड और RAG के इन सात स्तरों की यात्रा करेंगे, हम कई विषयों पर बात करेंगे लेकिन हम
00:00:48यहाँ GraphRAG या किसी जटिल चीज़ से शुरू नहीं करेंगे, हम शुरुआत से शुरू करेंगे
00:00:53जो कि क्लॉड कोड के लिए मूल बेसिक मेमोरी सिस्टम हैं क्योंकि यह कहना दुखद है कि
00:00:59ज़्यादातर लोग न केवल यहीं से शुरू करते हैं बल्कि यहीं रुक भी जाते हैं, जैसे ऑटो मेमोरी और
00:01:04claud.md जैसी चीज़ों से, फिर हम ओब्सीडियन (Obsidian) जैसे बाहरी उपकरणों की ओर बढ़ेंगे और अंततः खुद को
00:01:10बड़े खिलाड़ियों यानी वास्तविक RAG सिस्टम के साथ पाएंगे। इन स्तरों पर हम बात करेंगे कि RAG वास्तव में क्या है,
00:01:16यह कैसे काम करता है, RAG के विभिन्न प्रकार जैसे नेइव (Naive) RAG बनाम GraphRAG बनाम एजेंटिक RAG,
00:01:21री-रैंकर्स और इनके बीच की हर चीज़ के बारे में। और हर स्तर पर हम इसे उसी तरह से समझेंगे,
00:01:25हम बात करेंगे कि उस स्तर पर क्या उम्मीद की जाए, आपको किन कौशलों में महारत हासिल करनी है,
00:01:29किन गलतियों से बचना है और अगले स्तर पर जाने के लिए आपको क्या करने की ज़रूरत है। यह वीडियो
00:01:34इन विशिष्ट प्रणालियों को स्थापित करने के तरीके की बहुत गहन तकनीकी व्याख्या नहीं होगी
00:01:40क्योंकि मैंने पहले ही कई उदाहरणों में ऐसा किया है, जैसे जब हम GraphRAG और
00:01:45LightRAG की बात करते हैं या यहाँ तक कि इन विभिन्न प्रकार के
00:01:50एंबेडिंग सिस्टम जैसे अधिक उन्नत विषयों की बात करते हैं, मैंने वीडियो बनाए हैं जहाँ मैंने शुरुआत से अंत तक विस्तार से बताया है कि
00:01:55इसे स्वयं कैसे सेट किया जाए। इसलिए जब हम उन सेक्शन पर पहुँचेंगे, तो मैं उन वीडियो को लिंक कर दूँगा और यह
00:02:00हम दोनों के भले के लिए है ताकि यह वीडियो पाँच घंटे लंबा न हो, लेकिन उन स्तरों के लिए हम फिर भी बात करेंगे
00:02:04कि वास्तव में उसका क्या मतलब है, प्रत्येक सिस्टम आपको क्या लाभ देता है और आपको इसका उपयोग कब करना चाहिए। लेकिन इससे पहले कि
00:02:09हम लेवल 1 से शुरू करें, आज के प्रायोजक की ओर से एक छोटी सी बात: यानी मेरी तरफ से। पिछले महीने ही मैंने
00:02:15क्लॉड कोड मास्टर क्लास रिलीज़ की है और यह AI देव बनने का नंबर एक तरीका है, खासकर यदि आप
00:02:21तकनीकी बैकग्राउंड से नहीं आते हैं। और यह मास्टर क्लास थोड़ी अलग है क्योंकि हम
00:02:25क्लॉड कोड का उपयोग सीखने के लिए कई अलग-अलग उपयोग के मामलों पर ध्यान केंद्रित करते हैं। उनमें से एक
00:02:31प्रोडक्शन लेवल RAG जैसी चीज़ है, यानी इस वीडियो में दिखाए जाने वाले RAG सिस्टम को वास्तविक जीवन की स्थिति में कैसे बनाया जाए और
00:02:37वास्तव में टीम के सदस्य के रूप में इसका उपयोग कैसे किया जाए या इसे क्लाइंट को कैसे बेचा जाए, हम इसी तरह की चीज़ों पर ध्यान केंद्रित करते हैं।
00:02:42तो अगर आप इसका एक्सेस चाहते हैं, तो आप इसे Chase AI Plus के अंदर पा सकते हैं, उसका लिंक पिन किए गए कमेंट में है
00:02:47और हमें आपको वहाँ पाकर खुशी होगी। तो अब आइए लेवल 1 से शुरू करते हैं और वह है ऑटो मेमोरी (Auto Memory)।
00:02:51ये वे सिस्टम हैं जिनका उपयोग क्लॉड कोड स्वचालित रूप से मेमोरी तंत्र बनाने के लिए करता है ताकि
00:02:58उन चीज़ों को वास्तव में याद रखा जा सके जिनके बारे में आपने बात की है। और आपको पता चल जाएगा कि आप यहाँ हैं यदि आपने
00:03:02पिछली बातचीत या आपके कोड बेस में चल रही चीज़ों के बारे में संदर्भ याद रखने में क्लॉड कोड की मदद करने के लिए जानबूझकर कुछ भी सेट नहीं किया है।
00:03:09और जब हम ऑटो मेमोरी की बात करते हैं, तो इसका नाम ही यही है: ऑटो मेमोरी सिस्टम,
00:03:13जो क्लॉड कोड का उपयोग करने पर स्वचालित रूप से सक्षम हो जाता है। अनिवार्य रूप से यह क्लॉड कोड को
00:03:18स्वयं मार्कडाउन फाइलें बनाने की अनुमति देता है जो उन चीज़ों को सूचीबद्ध करती हैं
00:03:26जो उसे उस विशेष प्रोजेक्ट में आपके बारे में महत्वपूर्ण लगती हैं। और यह पूरी तरह से
00:03:32आपकी बातचीत के आधार पर उसके अपने अंतर्ज्ञान पर आधारित है। और मैं इन मेमोरी फाइलों को देख सकता हूँ जो उसने बनाई हैं,
00:03:37यह इसे अपने आप करता है। यदि आप अपने ".claud" फोल्डर में जाते हैं, फिर प्रोजेक्ट्स में जाते हैं, तो आपको वहाँ
00:03:42मेमोरी नाम का एक फोल्डर दिखेगा और उस फाइल के अंदर आपको यहाँ कई मार्कडाउन फाइलें दिखेंगी।
00:03:47यहाँ उनमें से चार हैं और वे क्लॉड कोड के पोस्ट-इट नोट्स के संस्करण की तरह हैं जो कहते हैं, "ओह हाँ, उसने
00:03:51एक बार अपने यूट्यूब प्रोजेक्ट ग्रोथ लक्ष्यों के बारे में बताया था, आइए इसे लिख लेते हैं।" और हर किसी के
00:03:59मेमोरी फोल्डर के अंदर एक memory.md फाइल होगी। तो आप इस मेमोरी फाइल में देखते हैं कि इसमें मेरे एक
00:04:04कौशल के बारे में एक छोटा नोट है और फिर इसमें इन सभी सब-मेमोरी फाइलों का एक इंडेक्स है जो कहता है,
00:04:09"अरे, इसमें एक यूट्यूब ग्रोथ वाली फाइल है, एक रेवेन्यू वाली या संदर्भ वाली, और इसके अंदर क्या है।"
00:04:13तो अगर मैं अपनी वॉल्ट फाइल में क्लॉड कोड से बात कर रहा हूँ और मैं यूट्यूब और अपनी ग्रोथ के लक्ष्यों के बारे में
00:04:19कुछ भी उल्लेख करता हूँ, तो यह इसका संदर्भ देगा और कहेगा, "ओह हाँ, चेज़ 2026 के अंत तक इतने
00:04:23सब्सक्राइबर्स पाने की कोशिश कर रहा है।" यह सुनने में अच्छा है लेकिन अंततः यह इतना उपयोगी नहीं है।
00:04:30यह कुछ वैसा ही है जैसे जब आप ChatGPT के अंदर होते हैं और यह पिछली बातचीत के बारे में
00:04:35अजीब चीज़ें लेकर आता है और उसे जबरदस्ती घुसा देता है। यह ऐसा है कि "ठीक है, मुझे समझ गया कि तुम्हें यह याद है,
00:04:40लेकिन मुझे वास्तव में इसकी परवाह नहीं है और सच कहूँ तो इसे बार-बार उठाना थोड़ा अजीब है। मैं चाहूँगा कि तुम ऐसा न करो।"
00:04:44और दुर्भाग्य से, ज़्यादातर लोग अपनी मेमोरी यात्रा में यहीं रुक जाते हैं और यह उस
00:04:49कुछ हद तक अपमानजनक अतीत पर आधारित है जिसे हम सभी ने इन चैटबॉट्स का उपयोग करते समय झेला है।
00:04:54क्योंकि इन चैटबॉट्स के पास एक बातचीत से दूसरी बातचीत तक कोई वास्तविक मेमोरी नहीं होती है और इसलिए
00:05:00हम चैट विंडो से बाहर निकलने या टर्मिनल सत्र से बाहर निकलने में हमेशा बहुत डरते हैं
00:05:06क्योंकि आप सोचते हैं, "हे भगवान, इसे मेरी बातचीत याद नहीं रहेगी।" और यह वास्तव में
00:05:10एक वास्तविक समस्या है क्योंकि चैट विंडो के कुछ भी याद न रख पाने की समस्या का
00:05:17सबके पास क्या जवाब है? जवाब यह है कि आप बस उस बातचीत को हमेशा के लिए जारी रखते हैं क्योंकि आप ऐसी
00:05:22स्थिति में नहीं आना चाहते जहाँ आपको बाहर निकलना पड़े और वह सब कुछ भूल जाए। यह एक डर है जो इन
00:05:26चैट विंडो के अंदर पैदा होता है, जिसकी शुरुआत ChatGPT से हुई और क्लॉड के वेब ऐप के साथ भी यही है। और सच कहूँ तो
00:05:31क्लॉड के वेब ऐप के साथ स्थिति पहले बहुत खराब थी क्योंकि मुझे लगता है कि हम सभी को 1 मिलियन
00:05:35कॉन्टेक्स्ट विंडो के आने से पहले के दिन याद हैं, जहाँ आपके पास क्लॉड से बात करने के लिए 30 मिनट होते थे और फिर
00:05:39वह कहता था, "अब चार घंटे बाद मिलेंगे।" समस्या यह है कि लोग उस तरह के पागलपन भरे विक्षिप्त व्यवहार को
00:05:45टर्मिनल पर ले आए हैं और वे क्या करते हैं (मुख्य रूप से इसलिए क्योंकि अब आप 1 मिलियन कॉन्टेक्स्ट
00:05:50विंडो के साथ ऐसा कर सकते हैं) कि वे कभी भी क्लियर नहीं करते। वे क्लॉड कोड के साथ बस बात करते रहते हैं
00:05:55क्योंकि वे नहीं चाहते कि वह भूल जाए कि वे किस बारे में बात कर रहे हैं। और
00:06:00समस्या यह है कि एक ही सेशन के अंदर क्लॉड कोड से जितना ज़्यादा आप बात करेंगे,
00:06:05समय के साथ आपकी दक्षता उतनी ही कम होती जाएगी और यही "कॉन्टेक्स्ट रॉट" (Context Rot) का मूल विचार है।
00:06:10यदि आप नहीं जानते कि कॉन्टेक्स्ट रॉट क्या है, तो यह वह घटना है कि मैं एक ही सेशन या एक ही चैट के भीतर
00:06:16एक AI सिस्टम का जितना अधिक उपयोग करता हूँ और उस कॉन्टेक्स्ट विंडो को भरता हूँ, वह उतना ही खराब होता जाता है। आप इसे
00:06:23यहीं देख सकते हैं: क्लॉड कोड की 1 मिलियन कॉन्टेक्स्ट विंडो में 256k टोकन पर, यानी मैंने इसकी कॉन्टेक्स्ट विंडो का
00:06:30केवल एक चौथाई हिस्सा भरा है, तब हम 92% पर हैं, लेकिन अंत तक मैं 78% पर पहुँच जाता हूँ। तो आप एक ही चैट में जितना ज़्यादा इसका उपयोग करते हैं, यह उतना ही खराब होता जाता है और
00:06:36यही AI सिस्टम और मेमोरी के साथ लोगों की मुख्य समस्याओं में से एक है। मेरे पास क्लॉड कोड है, अब इसमें एक मिलियन का कॉन्टेक्स्ट है
00:06:42और फिर भी मैं नहीं चाहता कि यह उस बातचीत को भूल जाए जो मैं कर रहा हूँ, इसलिए मैं कभी भी विंडो
00:06:47से बाहर नहीं निकलता। मैं बस इसे भरता जाता हूँ और दो चीज़ें होती हैं: एक तो प्रभावशीलता
00:06:51कम हो जाती है जैसा आपने अभी देखा, दूसरा आपका उपयोग बहुत बढ़ जाता है क्योंकि
00:06:591 मिलियन या 800,000 के कॉन्टेक्स्ट में उपयोग किए जाने वाले टोकन की मात्रा 80,000 के कॉन्टेक्स्ट से कहीं अधिक होती है। तो यह एकमात्र समस्या नहीं है,
00:07:08लेकिन विषय से थोड़ा हटकर, हम वर्तमान में एक ऐसे पारिस्थितिकी तंत्र में हैं जहाँ हर कोई शिकायत करता है कि क्लॉड कोड को
00:07:12कमजोर कर दिया गया है और मेरा उपयोग अपने आप ही बहुत बढ़ जाता है। इसके कई कारण हैं लेकिन
00:07:18उनमें से एक निश्चित रूप से यह है कि जब से 1 मिलियन कॉन्टेक्स्ट आया है, लोगों को पता ही नहीं है कि
00:07:24अपनी कॉन्टेक्स्ट विंडो को कैसे मैनेज किया जाए और वे बातचीत को क्लियर करने और रीसेट करने के मामले में
00:07:29उतने आक्रामक नहीं हैं जितने उन्हें होना चाहिए, लेकिन यह विषय से थोड़ा हटकर है।
00:07:34उस पूरी चर्चा का बिंदु यह है कि जब मेमोरी और RAG और
00:07:39क्लॉड कोड की बात आती है, तो हमें कॉन्टेक्स्ट रॉट को अपने दिमाग में रखना होगा क्योंकि हम लगातार
00:07:44इस तनाव से निपटने की कोशिश कर रहे हैं कि, "ठीक है, मैं कॉन्टेक्स्ट डालना चाहता हूँ ताकि क्लॉड कोड कई चीज़ों के बारे में
00:07:50सवालों के जवाब दे सके, लेकिन साथ ही मैं नहीं चाहता कि कॉन्टेक्स्ट बहुत बड़ा हो जाए क्योंकि तब यह और खराब हो जाएगा।"
00:07:55तो मेमोरी के बारे में इस बातचीत में हमें हमेशा इस बारे में सोचते रहना चाहिए।
00:08:02लेकिन इस वीडियो और लेवल 1 पर वापस आने के लिए: लोग लेवल 1 पर क्या कर रहे हैं?
00:08:06जवाब यह है कि वे वास्तव में कुछ भी नहीं कर रहे हैं और क्योंकि वे कुछ नहीं कर रहे हैं, वे चीज़ों को याद रखने के लिए
00:08:10बस एक फूली हुई कॉन्टेक्स्ट विंडो पर निर्भर रहते हैं। तो आपको पता चल जाएगा कि आप यहाँ हैं जब आपने
00:08:15कभी भी claud.md फाइल को एडिट नहीं किया है और आपने कभी भी कोई ऐसा आर्टिफैक्ट या फाइल नहीं बनाई है
00:08:23जो क्लॉड कोड को यह समझने दे कि क्या चल रहा है, उसने अतीत में वास्तव में क्या किया है और उसे भविष्य में क्या
00:08:27करने की ज़रूरत है। तो हमें इस स्तर पर किस चीज़ में महारत हासिल करने की ज़रूरत है? सच तो यह है कि
00:08:31यहाँ लिखी हर चीज़ के बावजूद, आपको बस यह समझने की ज़रूरत है कि ऑटो मेमोरी काफी नहीं है
00:08:35और जब क्लॉड कोड और मेमोरी की बात आती है तो हमें एक सक्रिय भूमिका निभाने की ज़रूरत है क्योंकि इस स्तर पर एक जाल यह है कि
00:08:40यदि आप सक्रिय भूमिका नहीं निभाते हैं, तो आपका कोई नियंत्रण नहीं रहता। और हमें यह नियंत्रित करने की ज़रूरत है कि क्लॉड कोड
00:08:44हमारे सवालों का जवाब देते समय किन चीज़ों पर विचार करे। और इसलिए लेवल 1 को पार करके लेवल 2 पर जाने के लिए
00:08:50हमें ऐसी मेमोरी चाहिए जो स्पष्ट हो और हमें यह पता लगाना होगा कि वास्तव में इसे कैसे किया जाए। आपको
00:08:57किन फाइलों को एडिट करने और समझने की ज़रूरत है कि वे अस्तित्व में भी हैं, ताकि आप इस रिश्ते में एक सक्रिय भूमिका निभा सकें?
00:09:01अब लेवल 2 एक विशिष्ट फाइल के बारे में है और वह है claud.md फाइल। जब आप इसके
00:09:06बारे में जानते हैं, तो यह भगवान के वरदान जैसा लगता है। आखिरकार एक ऐसी जगह है जहाँ मैं क्लॉड
00:09:12कोड को कुछ नियम और परंपराएँ बता सकता हूँ जिनका मैं हमेशा पालन करवाना चाहता था और यह उन्हें मानेगा। और
00:09:16वास्तव में, मैं इसमें वे चीज़ें शामिल कर सकता हूँ जिन्हें मैं याद रखना चाहता था और यह उन्हें हमेशा याद रखेगा। शुरुआत में यह
00:09:20निश्चित रूप से प्रगति जैसा महसूस होता है। तो यहाँ एक पर्सनल असिस्टेंट प्रोजेक्ट के लिए एक मानक claud.md फाइल का टेम्पलेट है।
00:09:29क्लॉड कोड स्वचालित रूप से एक claud.md फाइल बनाने वाला है लेकिन आपके पास इसे
00:09:33एडिट करने या यहाँ तक कि "/init" जैसी कमांड का उपयोग करके मांग पर अपडेट करने की क्षमता है। और
00:09:38इसका विचार यह है कि यह फिर से उस विशेष प्रोजेक्ट के लिए क्लॉड कोड के निर्देशों के पवित्र ग्रंथ की तरह है।
00:09:43सभी उद्देश्यों के लिए, क्लॉड कोड किसी भी कार्य को निष्पादित करने से पहले इस पर एक नज़र डालने वाला है।
00:09:50तो अगर आप चाहते हैं कि इसे विशिष्ट चीज़ें याद रहें, तो आप क्या करेंगे? आप इसे
00:09:54claud.md में डाल देंगे। सैद्धांतिक रूप से, यह RAG जैसी चीज़ों की तुलना में थोड़ा छोटे पैमाने पर है, आप जानते हैं,
00:10:00हम इसमें पूरे दस्तावेज नहीं डाल रहे हैं लेकिन ये ऐसी चीज़ें हैं जिन्हें आप चाहते हैं कि क्लॉड
00:10:05कोड हमेशा याद रखे और जिन परंपराओं का वह पालन करे। तो इसके लिए हमारे पास एक "अबाउट मी" सेक्शन है,
00:10:09हमारे पास फाइल सिस्टम की संरचना का विवरण है और यह भी कि जब हम इसे कमांड देते हैं तो हम इसे कैसे काम करते हुए देखना चाहते हैं।
00:10:14और जैसा कि मैंने कहा, चूँकि इसे अनिवार्य रूप से हर प्रॉम्प्ट पर संदर्भित किया जाता है, क्लॉड कोड
00:10:18इसका पालन करने में बहुत अच्छा है। तो यह विचार कि "अरे, मैं चाहता हूँ कि इसे विशिष्ट चीज़ें याद रहें", यह उसे
00:10:22रखने के लिए एक शानदार जगह लगती है। लेकिन हमें सावधान रहना होगा क्योंकि हम इसे ज़रूरत से ज़्यादा कर सकते हैं। जब हम
00:10:28इसके जैसे अध्ययनों को देखते हैं जो agents.md का मूल्यांकन करते हैं (और आप agents.md को claud.md से बदल सकते हैं),
00:10:33तो उन्होंने उस अध्ययन में पाया कि इस तरह की फाइलें वास्तव में बड़े पैमाने पर
00:10:40लार्ज लैंग्वेज मॉडल्स की प्रभावशीलता को कम कर सकती हैं। और ऐसा क्यों है? खैर, ऐसा इसलिए है क्योंकि जो चीज़ इसे इतना अच्छा बनाती है
00:10:45(यह तथ्य कि इसे मूल रूप से हर प्रॉम्प्ट में इंजेक्ट किया जाता है), वही इसे इतना खराब भी बना सकती है। क्या हम
00:10:51वास्तव में सही कॉन्टेक्स्ट इंजेक्ट कर रहे हैं? क्या हमने शोर को दूर कर दिया है और क्या हम वास्तव में इसे एक उचित
00:10:57सिग्नल दे रहे हैं या हम बस ऐसी चीज़ें फेंक रहे हैं जो हमें लगता है कि अच्छी हैं? क्योंकि अगर यह
00:11:02आपके प्रोजेक्ट में दिए जाने वाले लगभग हर एक प्रॉम्प्ट के लिए प्रासंगिक नहीं है, तो क्या इसे claud.md में होना चाहिए?
00:11:08क्या क्लॉड कोड को चीज़ें याद दिलाने का यह एक अच्छा तरीका है? मैं कहूँगा कि नहीं, वास्तव में नहीं।
00:11:15और यह उस बात के विपरीत है जो बहुत से लोग claud.md के बारे में कहते हैं और आपको उस तरह के अध्ययनों और
00:11:20व्यक्तिगत अनुभव के आधार पर इसे कैसे व्यवस्थित करना चाहिए। कम ही अधिक है; कॉन्टेक्स्ट प्रदूषण वास्तविक है, कॉन्टेक्स्ट रॉट वास्तविक है।
00:11:26इसलिए अगर कुछ claud.md के अंदर है और वह फिर से आपके द्वारा दिए जाने वाले लगभग हर एक
00:11:32प्रॉम्प्ट के लिए समझ में नहीं आता है, तो क्या इसे उसमें होना चाहिए? जवाब है नहीं। लेकिन ज़्यादातर लोगों को इसका एहसास नहीं होता और
00:11:37इसके बजाय वे एक फूली हुई नियम पुस्तिका के जाल में फंस जाते हैं। इसके बजाय जो कौशल हमें सीखने चाहिए,
00:11:42वे यह हैं कि हम ऐसा प्रोजेक्ट कॉन्टेक्स्ट कैसे बनाएं जो हाई सिग्नल हो? मैं यह कैसे सुनिश्चित करूँ कि मैं इस चीज़ के अंदर
00:11:48वास्तव में जो डाल रहा हूँ वह तर्कसंगत है? और इसके साथ कॉन्टेक्स्ट-रॉट अवेयरनेस का विचार आता है
00:11:53जिसके बारे में हमने पिछले लेवल में बात की थी। और आप इन सबको एक साथ लेते हैं और लेवल 2 ऐसा महसूस कराता है जैसे आप
00:11:57आगे बढ़ रहे हैं, जैसे "अरे, मैं मेमोरी में एक सक्रिय भूमिका निभा रहा हूँ, मेरे पास यह claud.md फाइल है।" फिर आप महसूस करते हैं
00:12:02कि यह वास्तव में पर्याप्त नहीं है। और जब हम लेवल 3 और वहाँ आगे बढ़ने के लिए क्या कर सकते हैं, इस बारे में बात करते हैं,
00:12:08तो हम एक स्थिर नियम पुस्तिका के बारे में नहीं बल्कि किसी ऐसी चीज़ के बारे में सोचना चाहते हैं जो विकसित हो सके। और
00:12:14यह कुछ ऐसा है जिसमें claud.md शामिल हो सकता है। सब कुछ करने के लिए claud.md पर निर्भर रहने के बजाय, क्या होगा
00:12:18अगर हम claud.md को एक इंडेक्स फाइल की तरह उपयोग करें जो क्लॉड कोड को सही दिशा में ले जाए?
00:12:24तो claud.md के एक इंडेक्स के रूप में कार्य करने और अन्य फाइलों की ओर इशारा करने से मेरा क्या मतलब था?
00:12:30खैर, मैं आपके कोड बेस के भीतर एक ऐसे आर्किटेक्चर की बात कर रहा हूँ जिसमें claud.md के रूप में केवल एक मार्कडाउन फाइल
00:12:37मेमोरी की सभी समस्याओं को हल करने की कोशिश नहीं कर रही है। मैं विशिष्ट कार्यों के लिए कई फाइलों के होने की बात कर रहा हूँ।
00:12:41मुझे लगता है कि इसका एक बेहतरीन उदाहरण वह है जो GSD (गेट शिट डन) ऑर्केस्ट्रेशन टूल करता है। यह
00:12:47सिर्फ एक फाइल नहीं बनाता जो कहती है, "अरे, हम यह बनाने जा रहे हैं और ये आवश्यकताएँ हैं और यह हमने किया है और हम कहाँ जा रहे हैं।"
00:12:53इसके बजाय यह कई फाइलें बनाता है। आप यहाँ बाईं ओर देख सकते हैं, हमारे पास एक project.md है, एक requirements.md है,
00:12:56एक रोडमैप है और एक स्टेट फाइल है। तो आवश्यकताएँ (requirements) इसलिए हैं ताकि क्लॉड कोड को हमेशा पता रहे और उसे याद रहे कि
00:13:02उसे क्या बनाना है। रोडमैप विस्तार से बताता है कि हम वास्तव में क्या बनाने जा रहे हैं,
00:13:08न केवल अभी, बल्कि हमने अतीत में क्या किया है और भविष्य में क्या करेंगे। और प्रोजेक्ट उसे
00:13:12मेमोरी देता है, उसे संदर्भ देता है कि हम उच्च स्तर पर क्या कर रहे हैं, हमारा मुख्य लक्ष्य क्या है। और इस तरह के
00:13:16सिस्टम में मेमोरी, कॉन्टेक्स्ट और परंपराओं को विभाजित करके, हम कॉन्टेक्स्ट रॉट के विचार के खिलाफ लड़ रहे हैं
00:13:22और उस अध्ययन में बताए गए विचार के खिलाफ भी, जो कहता है कि इन फाइलों को हर समय हर प्रॉम्प्ट में इंजेक्ट करना
00:13:29(जैसा कि हम claud.md में करते हैं) वास्तव में उल्टा असर करता है। यह हमें बेहतर आउटपुट प्राप्त करने में मदद नहीं करता है।
00:13:34इसके अलावा, इसे इन टुकड़ों में तोड़ने और क्लॉड कोड के लिए आगे बढ़ने का एक स्पष्ट रास्ता बनाने से
00:13:39वह कहता है, "अरे, मैं यह पता लगाना चाहता हूँ कि यह जानकारी कहाँ है, ओह, मैं claud.md पर जाता हूँ, ओह claud.md कहता है कि ये मेरे पाँच विकल्प हैं,
00:13:44ठीक है, यह रहा वह विकल्प, मुझे जाकर इसे ढूँढने दो।" उस तरह की संरचना वही है जिसे आप
00:13:49अगले स्तर पर 100% देखेंगे जब हम ओब्सीडियन (Obsidian) के बारे में बात करेंगे, और वास्तव में यह
00:13:54चंकिंग सिस्टम और वेक्टर समानता खोज की एक प्रारंभिक पुनर्कल्पना की तरह है जिसे हम वास्तविक RAG सिस्टम में देखते हैं।
00:13:58लेकिन जाहिर है कि इस स्तर पर यह छोटे पैमाने पर है। हम यहाँ चार मार्कडाउन फाइलों के बारे में बात कर रहे हैं,
00:14:04हम ऐसे सिस्टम के बारे में बात नहीं कर रहे हैं जो हजारों और हजारों दस्तावेजों को संभाल सके। लेकिन जैसा कि आप मुझे
00:14:10अक्सर कहते हुए सुनेंगे: आपके लिए इसका क्या मतलब है? क्या आपको ऐसे सिस्टम की ज़रूरत है जिसके बारे में हम 4, 5, 6, 7 स्तरों पर
00:14:14बात करने जा रहे हैं जो इतने सारे दस्तावेजों को संभाल सके? जवाब है, शायद नहीं। और इसलिए इस RAG
00:14:20यात्रा का एक हिस्सा न केवल यह समझना है कि आप कहाँ खड़े हैं, बल्कि यह भी कि आपको वास्तव में कहाँ जाने की ज़रूरत है। क्या आपको
00:14:26हमेशा लेवल 7 पर रहने और क्लॉड कोड के अंदर एजेंटिक RAG सिस्टम बनाने का तरीका जानने की ज़रूरत है? इसे करना
00:14:32सीखना शायद अच्छा है, लेकिन यह जानना भी उतना ही अच्छा है कि आपको इसे लागू करने की आवश्यकता कब नहीं है।
00:14:36कभी-कभी इन प्रणालियों में जो हम देखते हैं, वह बहुत से लोगों के लिए पर्याप्त होता है।
00:14:41तो यह जानना भी उतना ही महत्वपूर्ण है कि इसे कैसे किया जाए और यह भी कि क्या आपको इसे करना चाहिए।
00:14:46जब हम लेवल 3 और स्टेट फाइलों की बात करते हैं, तो हमें कैसे पता चलेगा कि हम यहाँ हैं?
00:14:52खैर, हमें पता चलता है कि हम यहाँ हैं जब हम अभी भी पूरी तरह से क्लॉड कोड इकोसिस्टम के अंदर हैं। हमने
00:14:58बाहरी टूल्स या एप्लीकेशन को एकीकृत नहीं किया है और वास्तव में हम बस उस जगह पर हैं जहाँ हम अपना खुद का
00:15:00एक तरह का घरेलू मेमोरी चंकिंग सिस्टम बनाने के लिए कई मार्कडाउन फाइलें बना रहे हैं।
00:15:04लेकिन यह अभी भी वास्तव में महत्वपूर्ण है। हम यहाँ अभी भी कुछ वास्तविक कौशल सीख रहे हैं: जैसे
00:15:09वास्तव में दस्तावेजों को व्यवस्थित करना, एक ऐसी प्रणाली बनाना जो हर सेशन में स्थिति (state) को अपडेट करे
00:15:14क्योंकि यह RAG के साथ भी एक समस्या हो सकती है: आप यह कैसे सुनिश्चित करते हैं कि सब कुछ अपडेटेड है? और
00:15:18संभावना है कि आप इस बिंदु पर ऑर्केस्ट्रेशन लेयर्स की ओर भी झुकना शुरू कर रहे हैं, जैसे GSD और सुपरपावर्स
00:15:23जो अपने आप इस तरह का मल्टी-मार्कडाउन फाइल आर्किटेक्चर बनाते हैं। लेकिन यहाँ एक वास्तविक जाल है:
00:15:28इस प्रोजेक्ट में हम जो बनाते हैं वह केवल उसी प्रोजेक्ट के लिए होता है। उन मार्कडाउन फाइलों को लेकर
00:15:33किसी दूसरे प्रोजेक्ट में ले जाना थोड़ा अजीब लगता है। इसलिए लेवल 4 वह जगह है जहाँ हम ओब्सीडियन को लाते हैं।
00:15:40और यह एक ऐसा टूल है जिसे बहुत प्रचार मिल रहा है और अच्छे कारण के लिए। जब आपके पास
00:15:46आंद्रे कारपेथी जैसे लोग इन LLM नॉलेज बेस के बारे में बात कर रहे होते हैं जिन्हें उन्होंने बनाया है, जो
00:15:51सभी उद्देश्यों के लिए ओब्सीडियन की नींव पर बने हैं और जिन्हें लगभग 20 मिलियन व्यूज मिल रहे हैं, तो हमें
00:15:56शायद सुनना चाहिए और देखना चाहिए कि यह वास्तव में कैसे काम कर रहा है। अब संदर्भ के लिए, मैंने इस
00:16:00ओब्सीडियन आंद्रे कारपेथी LLM नॉलेज बेस पर एक पूरा गहन विश्लेषण किया है। मैं उसे ऊपर लिंक कर दूँगा, इसलिए यदि
00:16:06आप इस पर ध्यान केंद्रित करना चाहते हैं कि इसे कैसे बनाया जाए, तो सुनिश्चित करें कि आप उसे ऊपर देखें।
00:16:11और मैं ज़्यादातर लोगों को यह भी बताना चाहता हूँ कि यह ओब्सीडियन वाली चीज़ जिसके बारे में हम यहाँ लेवल 4 में बात करने जा रहे हैं,
00:16:18ईमानदारी से कहूँ तो यह वह स्तर है जहाँ तक ज़्यादातर लोगों को पहुँचने की कोशिश करनी चाहिए क्योंकि यह ज़्यादातर लोगों और
00:16:22ज़्यादातर उपयोग के मामलों के लिए पर्याप्त है। जब हम लेवल 5, 6 और 7 के बारे में बात करेंगे, तो हम
00:16:27वास्तविक RAG संरचनाओं के बारे में बात करेंगे और सच कहूँ तो, यह ज़्यादातर लोगों के लिए ज़रूरत से ज़्यादा है। यह ज़्यादातर
00:16:32लोगों के लिए ओवरकिल है। हमें RAG के बारे में बात करना अच्छा लगता है, मैं समझता हूँ कि वह बढ़िया है, लेकिन
00:16:37ओब्सीडियन वह 80% समाधान है जो वास्तव में ज़्यादातर लोगों के लिए 99% समाधान की तरह है क्योंकि यह मुफ्त है,
00:16:43इसमें मूल रूप से कोई अतिरिक्त खर्च नहीं है और यह अकेले काम करने वाले व्यक्ति के लिए अपना काम कर देता है। और जब मैं कहता हूँ कि
00:16:50यह अकेले काम करने वाले के लिए काम करता है, तो मेरा मतलब है कि यह क्लॉड कोड को बहुत सारे अलग-अलग दस्तावेजों,
00:16:56बहुत सारी अलग-अलग मार्कडाउन फाइलों से जोड़ने और उससे सटीक और समय पर जानकारी प्राप्त करने की समस्या को
00:17:02हल करता है। साथ ही एक इंसान के रूप में उन दस्तावेजों के बारे में जानकारी देता है क्योंकि जब मैं
00:17:07इन दस्तावेजों पर क्लिक करता हूँ, तो यह बहुत स्पष्ट होता है कि इसके अंदर क्या चल रहा है और यह बहुत स्पष्ट है कि कौन से दस्तावेज
00:17:13इससे संबंधित हैं। जब मैं इन लिंक्स पर क्लिक करता हूँ, तो मुझे और दस्तावेजों पर ले जाया जाता है। जब मैं इन लिंक्स पर क्लिक करता हूँ,
00:17:19तो मुझे और दस्तावेजों पर ले जाया जाता है और इसलिए मेरे लिए एक इंसान के रूप में यह जानकारी होना महत्वपूर्ण है
00:17:24क्योंकि ईमानदारी से कहूँ तो, मैं तर्क दूँगा कि दस्तावेजों के बारे में ओब्सीडियन-आधारित जानकारी उन बहुत सारी जानकारियों से बेहतर है
00:17:30जो आपको RAG सिस्टम से मिलती हैं। जब हम किसी Grav RAG सिस्टम में एम्बेड किए गए हजारों दस्तावेजों की बात करते हैं,
00:17:36तो यह दिखने में बहुत शानदार लगता है, बहुत ही आकर्षक लगता है। क्या आप वास्तव में जानते हैं कि इसके अंदर क्या चल रहा है?
00:17:42शायद आप जानते हों, ईमानदारी से कहूँ तो आप बस उन उत्तरों पर निर्भर रहते हैं जो सामने आते हैं और लिंक्स वगैरह पर, लेकिन यह थोड़ा कठिन है।
00:17:47दस्तावेजों को इस तरह के ग्रेव रैग सिस्टम में एम्बेड किया जा रहा है, यह दिखने में बहुत अच्छा लगता है
00:17:52दिखने में बहुत शानदार है, क्या आप वास्तव में जानते हैं कि इसके अंदर क्या चल रहा है? शायद आप जानते हों
00:17:58सच कहूं तो आप बस मिलने वाले जवाबों और लिंक्स वगैरह पर भरोसा कर रहे होते हैं, लेकिन इसे
00:18:03एम्बेडिंग के जरिए समझना थोड़ा मुश्किल है, निश्चित रूप से, यह सब कहने का मतलब यह है कि आपको
00:18:08ओब्सीडियन और क्लॉड कोड पर विशेष ध्यान देना चाहिए क्योंकि जब हम रैग की इस यात्रा के बारे में बात करते हैं
00:18:13तो मैं हमेशा सभी को, क्लाइंट्स को भी, यही सुझाव देता हूं कि चलिए ओब्सीडियन से शुरू करते हैं और देखते हैं कि हम इसे कितना आगे ले जा सकते हैं
00:18:20और अंततः अगर हमें कोई बाधा आती है, तो आप हमेशा अधिक मजबूत रैग सिस्टम पर स्विच कर सकते हैं
00:18:26तो क्यों न सरल विकल्प को आज़माया जाए? अगर यह काम करता है तो बढ़िया है, यह मुफ़्त है, इसमें मेरा कोई पैसा नहीं लगता, जबकि
00:18:31इस रैग सिस्टम को आज़माना, जिसे प्रोडक्शन में डालना थोड़ा कठिन हो सकता है, यह इस पर निर्भर करता है कि आप क्या करना चाह रहे हैं
00:18:35हमेशा सरल चीज़ों से शुरुआत करें, कुछ अधिक जटिल चीज़ पर स्विच करना कभी भी बहुत कठिन नहीं होता
00:18:40तो वास्तव में हम यहाँ लेवल 4 में किस बारे में बात कर रहे हैं? हम उस
00:18:45स्ट्रक्चर को लेने की बात कर रहे हैं जिसे हमने लेवल 3 में बनाना शुरू किया था, आप जानते हैं, एक इंडेक्स फ़ाइल के साथ
00:18:50जो विभिन्न मार्कडाउन फ़ाइलों की ओर इशारा करती है, और बस उसे और बड़ा कर रहे हैं और फिर इस बाहरी टूल
00:18:56ओब्सीडियन को ला रहे हैं ताकि आपके लिए, एक इंसान के रूप में, इन कनेक्शनों को देखना आसान हो जाए और इस वर्ज़न का आदर्श रूप
00:19:00वही है जो आंद्रे कारपैथी ने ओब्सीडियन के ऊपर एक LLM नॉलेज बेस बनाने और क्लॉड कोड द्वारा संचालित होने के बारे में बताया था
00:19:05और वह स्ट्रक्चर कुछ इस तरह दिखता है, तो जब आप ओब्सीडियन का उपयोग करते हैं
00:19:11और उसे डाउनलोड करते हैं, यह फिर से पूरी तरह से मुफ़्त है, उस वीडियो को देखें जो मैंने पहले पोस्ट किया था, आप एक
00:19:16निश्चित फ़ाइल को वॉल्ट (vault) के रूप में सेट करते हैं, वॉल्ट को एक तरह के रैग सिस्टम के रूप में सोचें, यह
00:19:23क्वासी रैग सिस्टम जो आपने बनाया है, और वॉल्ट के अंदर फिर हम उसे व्यवस्थित करते हैं, हम उसे केवल
00:19:30फ़ाइलों के साथ स्ट्रक्चर करते हैं, तो हमारे पास वॉल्ट नाम की मुख्य फ़ाइल होती है और उस वॉल्ट के अंदर हम कई
00:19:36सबफ़ोल्डर बनाते हैं, आंद्रे कारपैथी के मामले में वे तीन अलग-अलग सबफ़ोल्डर्स की बात करते हैं, वास्तविकता यह है कि वे
00:19:41कोई भी सबफ़ोल्डर हो सकते हैं, बस उन्हें उस थीम से मेल खाना चाहिए जिसके बारे में हम बात करने जा रहे हैं
00:19:47एक फ़ोल्डर में हमारे पास रॉ डेटा (raw data) है, यह वह सब कुछ है जिसे हम ग्रहण कर रहे हैं और अंततः स्ट्रक्चर करना चाहते हैं
00:19:52ताकि क्लॉड कोड बाद में इसका संदर्भ ले सके, सोचिए, आप
00:19:58क्लॉड कोड से अपने 50 प्रतिस्पर्धियों का विश्लेषण करवाते हैं और वह हर एक के लिए 50 साइटें खींचता है, है ना?
00:20:03हम बहुत सारी जानकारी की बात कर रहे हैं, यह शायद 2500 अलग-अलग चीज़ें हैं, वह सब किसी रॉ फ़ोल्डर में डाल दिया जाएगा
00:20:08यह डेटा के लिए एक स्टेजिंग एरिया की तरह है, फिर हमारे पास विकी फ़ोल्डर है, विकी फ़ोल्डर वह जगह है जहाँ
00:20:14स्ट्रक्चर्ड डेटा जाता है, तो फिर हम क्लॉड कोड से इस रॉ डेटा को लेते हैं और इसे अनिवार्य रूप से
00:20:20विकी फ़ोल्डर के अंदर अलग-अलग विकिपीडिया प्रकार के लेखों में स्ट्रक्चर करवाते हैं, प्रत्येक लेख का अपना फ़ोल्डर होता है
00:20:28विचार यह है कि जब आप क्लॉड कोड से जानकारी मांगते हैं, मान लीजिए कि हमने उसे
00:20:33AI एजेंट्स के बारे में कुछ खोजने के लिए कहा और मैं कहता हूँ कि 'हे क्लॉड कोड, मुझसे AI एजेंट्स के बारे में बात करो', उसी तरह
00:20:38जैसे आप एक रैग सिस्टम से क्वेरी करेंगे, तो क्लॉड कोड वॉल्ट में जाएगा, वॉल्ट से वह
00:20:45विकी में जाएगा, विकी में एक मास्टर इंडेक्स मार्कडाउन फ़ाइल होती है, सोचिए कि हम पहले
00:20:50claude.md के साथ क्या करने की बात कर रहे थे, ठीक है? आप देख सकते हैं कि कैसे ये थीम अलग-अलग लेवल्स में
00:20:56आगे बढ़ती हैं, यह उस मास्टर इंडेक्स पर नज़र डालता है, मास्टर इंडेक्स इसे बताता है कि
00:21:00इस ओब्सीडियन रैग सिस्टम में क्या मौजूद है, 'ओह, AI एजेंट्स मौजूद हैं, बढ़िया', अंदाज़ा लगाइए यहाँ नीचे क्या चल रहा है
00:21:08इसमें एक इंडेक्स फ़ाइल भी है जो उन व्यक्तिगत लेखों के बारे में बात करती है जो वहां मौजूद हैं, मैं यहाँ क्या कह रहा हूँ?
00:21:14मैं कह रहा हूँ कि क्लॉड कोड के संदर्भ लेने के लिए एक स्पष्ट पदानुक्रम (hierarchy) है जब वह
00:21:21फ़ाइलों, वॉल्ट, विकी, इंडेक्स, लेख आदि के बारे में जानकारी खोजना चाहता है, इसलिए क्योंकि जानकारी खोजना इतना स्पष्ट है
00:21:31और जानकारी को विकी में बदलना इतना स्पष्ट है, हम एक ऐसा सिस्टम बना सकते हैं जिसमें बहुत सारे
00:21:37दस्तावेज़ हों, बिना रैग के, सैकड़ों, हज़ारों, अगर आप इसे ठीक से करते हैं, क्योंकि अगर सिस्टम स्पष्ट है कि 'हे, मैं
00:21:44वॉल्ट की जाँच करता हूँ और मैं इंडेक्स की जाँच करता हूँ' और इसमें स्पष्ट रूप से बताया गया है कि सब कुछ कहाँ है
00:21:50तो क्लॉड कोड के लिए यह पता लगाना बहुत कठिन नहीं है कि चीज़ें कहाँ मिलेंगी और इस तरह आप
00:21:54हज़ारों दस्तावेज़ों के लिए बिना रैग वाले स्ट्रक्चर से काम चला सकते हैं, और अतीत में ऐसा करना बहुत कठिन रहा है
00:21:58और ऐसा इसलिए है क्योंकि ज़्यादातर लोग किसी भी तरह का स्ट्रक्चर नहीं बनाते, उनके पास बस एक ही फ़ोल्डर में
00:22:02अरबों दस्तावेज़ पड़े होते हैं, यह फैक्ट्री के फर्श पर बिखरी हुई 10 मिलियन फ़ाइलों के समान है
00:22:08मेरा मतलब है, क्या क्लॉड कोड इसे ढूंढ पाएगा? नहीं, आपको वास्तव में बस एक फाइलिंग कैबिनेट की ज़रूरत है, क्लॉड
00:22:13कोड वास्तव में काफी स्मार्ट है और आप उस आर्किटेक्चर को यहाँ एक्शन में देख सकते हैं, अभी हम
00:22:17एक claude.md फ़ाइल देख रहे हैं जो एक ओब्सीडियन वॉल्ट में है और यह क्या कहती है? यह
00:22:24वॉल्ट स्ट्रक्चर, विकी सिस्टम, सबफ़ोल्डर्स के समग्र स्ट्रक्चर और इसे अनिवार्य रूप से
00:22:30चलाने के तरीके को समझाती है, ठीक है? तो फिर से हम यहाँ बाईं ओर एक कन्वेंशन प्रकार की फ़ाइल के रूप में claude.md का उपयोग कर रहे हैं
00:22:36आप विकी फ़ोल्डर देख सकते हैं, विकी फ़ोल्डर के अंदर एक मास्टर इंडेक्स है और यह उन चीज़ों को लिस्ट करता है जो
00:22:43वहाँ मौजूद हैं, इस मामले में केवल एक लेख है, यह क्लॉड प्रबंधित एजेंटों (managed agents) पर है, उस फ़ोल्डर के अंदर हम
00:22:49क्लॉड प्रबंधित एजेंटों को देखते हैं, इसका अपना विकी फ़ोल्डर है जो लेखों को तब तक तोड़ता है जब तक
00:22:55आप वास्तविक लेख तक नहीं पहुँच जाते, तो इसे जो कदम उठाने हैं वे बहुत स्पष्ट हैं और इसलिए जब मैं क्लॉड कोड से कहता हूँ
00:23:01कि 'प्रबंधित एजेंटों के बारे में मुझसे बात करो', हमारे पास उस पर एक विकी है, इसके लिए इसे इसके
00:23:06इन-बिल्ट grep टूल के माध्यम से खोजना बहुत आसान है, यह मुझे वास्तविक मार्कडाउन फ़ाइल लिंक करता है और फिर सब कुछ
00:23:12समझाता है जो हो रहा है, अब लेवल 4 पर सवाल वास्तव में स्केल का बन जाता है, हम कितने
00:23:16दस्तावेज़ों के साथ काम कर सकते हैं जहाँ इस तरह का सिस्टम काम करना जारी रखता है? क्या कोई ऐसा बिंदु है जहाँ आंद्रे
00:23:22कारपैथी का सिस्टम टूटने लगता है? जहाँ 'हे, मुझे समझ में आ गया कि यह एक बहुत ही स्पष्ट रास्ता है जिसका क्लॉड
00:23:26कोड को पालन करना है, यह इंडेक्स में जाता है, वगैरह वगैरह', क्या यह
00:23:312,000 दस्तावेज़ों, 2,500, 3,000 पर टिका रहता है? क्या कोई स्पष्ट संख्या है? इसका जवाब है कि हम वास्तव में नहीं जानते
00:23:37और यह संख्या और भी कम हो सकती है क्योंकि आपके सभी दस्तावेज़ अलग-अलग भी हैं और जहाँ तक बाधा आने की बात है
00:23:43तो यह सिर्फ इतना सरल नहीं है कि क्लॉड कोड हमें गलत जवाब दे रहा है या ओब्सीडियन सिस्टम में
00:23:47बहुत अधिक फ़ाइलें हैं, अब जब हमने इतनी सारी फ़ाइलें जोड़ दी हैं, तो यह आपको टोकन के मामले में कितना महंगा पड़ रहा है?
00:23:52और यह कितनी तेज़ी से कर रहा है? क्योंकि रैग वास्तव में कुछ स्थितियों में असीमित रूप से तेज़ और सस्ता हो सकता है
00:23:59हम यहाँ जो देख रहे हैं वह टेक्स्चुअल LLMs (विशाल बार्स में) और टेक्स्चुअल
00:24:06रैग के बीच तुलना है, इस संदर्भ में कि सही उत्तर पाने के लिए कितने टोकन लगे और कितना
00:24:11समय लगा, हम यहाँ क्या देखते हैं? हम देखते हैं कि टेक्स्चुअल रैग बनाम टेक्स्चुअल LLMs में
00:24:18बहुत बड़ा अंतर है, लगभग 1200 गुना का, मैं कह रहा हूँ कि इन अध्ययनों में रैग टेक्स्चुअल LLM की तुलना में
00:24:251200 गुना सस्ता और 1200 गुना तेज़ है, अब संदर्भ के लिए, यह 2025 में किया गया था, यह
00:24:33क्लॉड कोड के साथ नहीं किया गया था, तब से ये मॉडल काफी बदल गए हैं, ये सिर्फ सीधे-सादे LLMs हैं
00:24:37यह कोडिंग आर्टिस्ट वगैरह नहीं है, फिर भी हम 1200 गुना अंतर की बात कर रहे थे, इसलिए जब हम मूल्यांकन कर रहे होते हैं
00:24:48कि 'क्या मुझे ओब्सीडियन का उपयोग करना चाहिए बनाम क्या मुझे रैग सिस्टम का उपयोग करना चाहिए', तो यह इतना सरल नहीं है
00:24:54कि 'यह सही उत्तर दे रहा है या नहीं', क्योंकि आपके पास ऐसी स्थिति हो सकती है
00:24:59जहाँ आपको ओब्सीडियन के साथ सही उत्तर मिलता है, फिर भी यदि आप रैग पर जाते हैं तो यह हज़ार गुना सस्ता
00:25:04और तेज़ है, है ना? तो यह एक बहुत ही धुंधली रेखा है कि कब ओब्सीडियन पर्याप्त है और कब
00:25:10सिर्फ मार्कडाउन फ़ाइल आर्किटेक्चर पर्याप्त है, या कब हमें रैग का उपयोग करने की आवश्यकता है
00:25:15इसका कोई सटीक जवाब नहीं है, मेरे पास आपके लिए कोई सटीक जवाब नहीं है, इसका जवाब यह है कि आपको प्रयोग करना होगा
00:25:18और आपको दोनों को आज़माना होगा और देखना होगा कि क्या काम करता है क्योंकि यह सच में पुराना हो चुका है, बिल्कुल 2025 के पुराने
00:25:25मॉडल, रैग और टेक्स्चुअल LLMs के बीच का अंतर 1200 गुना नहीं है, लेकिन वह अंतर कितना कम हुआ है?
00:25:32क्योंकि वह एक पागलपन भरा अंतर है, वह 10 गुना नहीं है, वह 1200 गुना है, तो बहुत कुछ है जो आपको जानना है और
00:25:39फिर से, आपको पहले से जवाब नहीं पता होगा, आप बस नहीं जान पाएंगे, आप जितने चाहें उतने वीडियो देखें
00:25:45कोई आपको यह नहीं बताने वाला कि वह सीमा रेखा कहाँ है, आपको वास्तव में बस प्रयोग करने की ज़रूरत है
00:25:49और देखना होगा कि आपके लिए क्या काम करता है जैसे-जैसे आप उन दस्तावेज़ों की संख्या बढ़ाते हैं जिनके बारे में आप क्लॉड कोड
00:25:54से सवाल पूछ रहे हैं, तो इसी बात पर, चलिए लेवल 5 पर चलते हैं जहाँ हम आखिरकार
00:25:59असली रैग सिस्टम के बारे में बात करना शुरू करेंगे और रैग की कुछ बुनियादी चीज़ों जैसे एम्बेडिंग
00:26:04वेक्टर डेटाबेस और डेटा वास्तव में एक सिस्टम के माध्यम से कैसे प्रवाहित होता है जब यह हमारे
00:26:10रैग नॉलेज बेस का हिस्सा बनता है, तो चलिए 'नेइव रैग' (naive rag) के बारे में बात करना शुरू करते हैं, जो कि सबसे बुनियादी प्रकार का रैग है
00:26:16लेकिन यह हमारे द्वारा किए जाने वाले बाकी सब कामों के लिए आधार प्रदान करता है, अब आप रैग सिस्टम को
00:26:21तीन भागों में विभाजित मान सकते हैं, बाईं ओर हमारे पास एम्बेडिंग स्टेज है, फिर हमारे पास
00:26:27वेक्टर डेटाबेस है और फिर हमारे पास लार्ज लैंग्वेज मॉडल के साथ वास्तविक रिट्रीवल (retrieval) हो रहा है
00:26:33तो एक, दो और तीन, और इस मॉडल को बेहतर ढंग से समझाने के लिए, चलिए उस यात्रा से शुरू करते हैं
00:26:40जो एक दस्तावेज़ हमारे नॉलेज बेस का हिस्सा बनने के लिए तय करता है, याद रखें कि एक बड़े रैग सिस्टम में हम
00:26:45हज़ारों दस्तावेज़ों की बात कर सकते हैं और प्रत्येक दस्तावेज़ हज़ारों पन्नों का हो सकता है, लेकिन इस
00:26:50उदाहरण में हम एक एक-पेज के दस्तावेज़ की बात कर रहे हैं, अब यदि हम इस दस्तावेज़ को
00:26:56अपने डेटाबेस में जोड़ना चाहते हैं, तो यह इस तरह काम करेगा कि इसे पूरी इकाई के रूप में ग्रहण नहीं किया जाएगा, बल्कि
00:27:03हम इस दस्तावेज़ को लेंगे और इसे टुकड़ों (chunks) में बाँट देंगे, तो यह एक पेज वाला दस्तावेज़
00:27:08अनिवार्य रूप से तीन अलग-अलग टुकड़ों में बन जाता है, ये तीन टुकड़े फिर एक एम्बेडिंग मॉडल को भेजे जाते हैं
00:27:15और एम्बेडिंग मॉडल का काम इन तीन टुकड़ों को लेना और उन्हें वेक्टर डेटाबेस में एक वेक्टर
00:27:21में बदलना है, अब वेक्टर डेटाबेस आपके मानक डेटाबेस का एक अलग रूप है
00:27:27जब हम एक मानक डेटाबेस के बारे में बात करते हैं, तो एक्सेल दस्तावेज़ जैसी किसी चीज़ के बारे में सोचें, है ना? आपके पास
00:27:32कॉलम और पंक्तियाँ होती हैं, लेकिन वेक्टर डेटाबेस में यह दो-आयामी कॉलम और पंक्तियाँ नहीं हैं, यह
00:27:37वास्तव में सैकड़ों, यदि हज़ारों नहीं तो, आयामों वाला होता है, लेकिन आज के उद्देश्यों के लिए बस एक
00:27:43तीन-आयामी ग्राफ के बारे में सोचें जैसा कि आप यहाँ देख रहे हैं, और वेक्टर उस ग्राफ में केवल बिंदु (points) हैं और प्रत्येक
00:27:50बिंदु को संख्याओं की एक श्रृंखला द्वारा दर्शाया जाता है, तो आप यहाँ देख सकते हैं कि हमारे पास केले हैं और केले को
00:27:570.52, 5.12 और फिर 9.31 द्वारा दर्शाया गया है, आप इसे यहाँ ऊपर देख सकते हैं, अब वह सैकड़ों संख्याओं तक जारी रहता है
00:28:06अब इस विशाल बहु-आयामी ग्राफ में प्रत्येक वेक्टर को कहाँ रखा जाएगा, यह उसके सिमेंटिक (semantic)
00:28:13अर्थ पर निर्भर करता है कि शब्दों का वास्तव में अर्थ क्या है, तो आप यहाँ देख सकते हैं कि यह फलों वाला
00:28:19सेक्शन है जहाँ हमारे पास केले हैं, सेब हैं, नाशपाती हैं, और यहाँ हमारे पास जहाज़ हैं और नावें हैं
00:28:24तो अपने दस्तावेज़ पर वापस जाते हुए, मान लें कि यह दस्तावेज़ द्वितीय विश्व युद्ध के जहाज़ों के बारे में है
00:28:31तो इनमें से प्रत्येक टुकड़ा संख्याओं की एक श्रृंखला में बदल जाएगा और उन संख्याओं की श्रृंखला को
00:28:37इस ग्राफ में एक बिंदु के रूप में दर्शाया जाएगा, आपको क्या लगता है यह कहाँ जाएगा? यह शायद
00:28:42इस क्षेत्र के आसपास जाएगा, है ना? तो वह एक, दो और तीन होगा, इस तरह दस्तावेज़ रखे जाते हैं, प्रत्येक
00:28:49दस्तावेज़ के टुकड़े किए जाएँगे, प्रत्येक टुकड़ा एम्बेडिंग मॉडल के माध्यम से जाता है और एम्बेडिंग मॉडल
00:28:54उन्हें वेक्टर डेटाबेस में डाल देता है, हर दस्तावेज़ के लिए इसे बार-बार दोहराया जाता है और अंत में
00:28:58कई हज़ार बार ऐसा करने के बाद हमें एक वेक्टर डेटाबेस मिलता है जो हमारे नॉलेज ग्राफ, हमारे नॉलेज बेस
00:29:04का प्रतिनिधित्व करता है, और यह हमें चरण तीन पर ले जाता है जो कि रिट्रीवल वाला हिस्सा है
00:29:09तो आप इसमें कहाँ आते हैं? वैसे सामान्य रूप से चलिए आपको दर्शाते हैं, हम आपको एक
00:29:16अलग रंग देंगे, आप गुलाबी हो सकते हैं, तो यह आप हैं, ठीक है? आप सामान्य रूप से बस
00:29:23क्लॉड कोड से बात करते हैं और क्लॉड कोड से द्वितीय विश्व युद्ध के युद्धपोतों के बारे में सवाल पूछते हैं, तो आपके
00:29:29मानक गैर-रैग सेटअप में क्या होगा? लार्ज लैंग्वेज मॉडल ओपस 4.6 अपने
00:29:34ट्रेनिंग डेटा पर एक नज़र डालेगा और फिर वह आपको अपने ट्रेनिंग डेटा के आधार पर एक जवाब देगा
00:29:39द्वितीय विश्व युद्ध के युद्धपोतों के बारे में जानकारी, लेकिन रैग सिस्टम के साथ यह और भी बहुत कुछ करेगा, यह
00:29:44उपयुक्त वेक्टर्स को वापस लाएगा, यह उन वेक्टर्स का उपयोग उस जवाब को और बेहतर बनाने (augment) के लिए करेगा जो यह आपके लिए जनरेट करता है
00:29:51इसीलिए इसे रिट्रीवल ऑगमेंटेड जनरेशन कहा जाता है, यही रैग की शक्ति है, यह हमारे लार्ज लैंग्वेज
00:29:56मॉडल्स को ऐसी जानकारी खींचने की अनुमति देता है जो इसके ट्रेनिंग डेटा का हिस्सा नहीं है ताकि इसके जवाब को बेहतर बनाया जा सके, इस
00:30:02उदाहरण में द्वितीय विश्व युद्ध के युद्धपोत, हाँ मैं समझता हूँ कि लार्ज लैंग्वेज मॉडल इसे पहले से ही जानता है, लेकिन
00:30:06इसे किसी भी प्रकार के प्रोप्राइटरी कंपनी डेटा से बदल दें जो वेब पर उपलब्ध नहीं है और
00:30:15इसे बड़े पैमाने पर करें, यही रैग की खासियत है, अब हमारे उदाहरण में जब हम क्लॉड कोड से
00:30:21द्वितीय विश्व युद्ध के युद्धपोतों के बारे में जानकारी मांगते हैं और यह रैग सेटअप में है, तो यह क्या करेगा कि
00:30:25यह हमारे सवाल को लेगा और उसे संख्याओं की एक श्रृंखला में बदल देगा जैसा कि यहाँ इन
00:30:32वेक्टर्स के साथ है, यह फिर यह देखेगा कि हमारे सवाल के लिए वह संख्या क्या है और वेक्टर्स की
00:30:39संख्याएं क्या हैं और यह देखेगा कि इनमें से कौन सा वेक्टर सवाल के वेक्टर से सबसे अधिक मेल खाता है
00:30:46ठीक है? मूल रूप से सवाल के साथ वेक्टर्स कितने समान हैं और फिर यह वेक्टर्स की एक निश्चित
00:30:51मात्रा खींचेगा चाहे वह एक, दो, तीन, चार या पाँच हो या दस या बीस, और यह
00:30:56उन वेक्टर्स और उनकी जानकारी को लार्ज लैंग्वेज मॉडल में खींच लेगा, तो अब लार्ज लैंग्वेज मॉडल के पास
00:31:02इसका ट्रेनिंग डेटा जवाब प्लस मान लीजिए 10 वेक्टर्स की जानकारी है, ठीक है? वह रिट्रीवल वाला हिस्सा था
00:31:09और फिर यह उस अतिरिक्त जानकारी के साथ एक जवाब जनरेट करता है और इस तरह रैग
00:31:13काम करता है, इस तरह नेइव रैग काम करता है, अब यह कई कारणों से विशेष रूप से प्रभावी नहीं है, यह
00:31:19बहुत ही बुनियादी स्ट्रक्चर शुरुआत में ही टूटने लगता है जब हम यह सोचने लगते हैं कि ठीक है
00:31:25हम इन दस्तावेज़ों के टुकड़े कैसे कर रहे हैं? क्या यह रैंडम है? क्या यह सिर्फ टोकन की शुद्ध संख्या पर आधारित है? क्या हमारे पास
00:31:31ओवरलैप की एक निश्चित संख्या है? क्या दस्तावेज़ खुद इस तरह से सेट किए गए हैं जहाँ उनके
00:31:36टुकड़े करना समझ में आता है? क्योंकि क्या होगा यदि टुकड़ा नंबर तीन, टुकड़ा नंबर एक की किसी चीज़ का संदर्भ दे रहा है
00:31:42और फिर हमारी वेक्टर स्थिति में जब हम टुकड़े खींचते हैं, तो क्या होगा यदि इसे सही टुकड़ा न मिले?
00:31:47क्या होगा यदि इसे वह दूसरा टुकड़ा न मिले जो संदर्भ के रूप में आवश्यक है? तो क्या नंबर तीन का कोई मतलब भी निकलता है?
00:31:53आप समझ रहे हैं कि मैं क्या कह रहा हूँ? जैसे अक्सर उन दस्तावेज़ों के बारे में सवालों के जवाब देने के लिए पूरे दस्तावेज़ की ही
00:31:59ज़रूरत होती है, तो टुकड़ों में जवाब पाने का यह विचार व्यवहार में वास्तव में
00:32:05काम नहीं करता, फिर भी बहुत लंबे समय तक रैग को इसी तरह सेट किया गया था, अन्य मुद्दे जो
00:32:10सामने आ सकते हैं वे ऐसी चीज़ें हैं कि 'क्या होगा यदि मेरे पास विभिन्न वेक्टर्स के बीच संबंधों के बारे में सवाल हों?'
00:32:17क्योंकि अभी मैं सिर्फ अलग-अलग वेक्टर्स खींचता हूँ लेकिन क्या होगा अगर मैं यह जानना चाहता हूँ कि नावें
00:32:22केलों से कैसे संबंधित हैं? सुनने में रैंडम लगता है, लेकिन क्या होगा अगर मैं ऐसा करता? आप जानते हैं, यह
00:32:31मानक वेक्टर डेटाबेस नेइव रैग दृष्टिकोण, सब कुछ एक अलग इकाई की तरह है, जानकारी को जोड़ना कठिन है और
00:32:36इसका बहुत कुछ इस बात पर निर्भर करता है कि वे मूल दस्तावेज़ कितनी अच्छी तरह से स्ट्रक्चर किए गए हैं
00:32:41क्या वे इस तरह से स्ट्रक्चर किए गए हैं जो रैगिंग के लिए समझ में आता है? अब पिछले कुछ सालों में हमने इन मुद्दों को कम करने के कुछ तरीके खोजे हैं
00:32:46जैसे री-रैंकर्स (re-rankers) या रैंकिंग सिस्टम जो हमारे द्वारा पकड़े गए सभी वेक्टर्स पर नज़र डालते हैं और अनिवार्य रूप से
00:32:51फिर उनकी प्रासंगिकता के मामले में उन्हें रैंक करने के लिए लार्ज लैंग्वेज मॉडल के साथ एक और पास करते हैं, लेकिन
00:32:56कुल मिलाकर यह नेइव रैग सिस्टम अब चलन से बाहर हो गया है, फिर भी यह समझना
00:33:03महत्वपूर्ण है कि यह बुनियादी स्तर पर कैसे काम करता है ताकि यह आपके निर्णयों को सूचित कर सके यदि आप
00:33:07अधिक मजबूत रैग दृष्टिकोण अपनाते हैं, क्योंकि यदि आप यह नहीं समझते कि चंकिंग या एम्बेडिंग कैसे काम करते हैं
00:33:13तो आप इस बारे में निर्णय कैसे ले सकते हैं कि आपको अपने दस्तावेज़ों को कैसे स्ट्रक्चर करना चाहिए? जब हम
00:33:17ग्राफ रैग (graphrag) जैसी किसी चीज़ के बारे में बात करते हैं या हम गूगल के बिल्कुल नए और अधिक जटिल एम्बेडिंग सिस्टम
00:33:22के बारे में बात करते हैं जो न केवल टेक्स्ट बल्कि वीडियो भी ग्रहण कर सकता है, और यदि आप इस तरह के
00:33:27फाउंडेशन को नहीं समझते हैं, तो आपके लिए इस जाल को समझना मुश्किल है और जाल यह है कि
00:33:31हमने एक तरह का बेकार सर्च इंजन बना दिया है क्योंकि इन नेइव रैग सिस्टम्स के साथ जहाँ हम
00:33:36सिर्फ टुकड़े खींचते हैं और हम वास्तव में उनके बीच के संबंधों को नहीं समझ सकते, तो यह मूल रूप से
00:33:42एक अति जटिल कंट्रोल-F (search) सिस्टम होने से कैसे अलग है? जवाब है कि इसमें वास्तव में
00:33:48ज्यादा अंतर नहीं है, यही कारण है कि इन सरल और पुराने रैग
00:33:54स्ट्रक्चर्स में, जो वास्तव में अभी भी हर जगह मौजूद हैं, यदि आप किसी को देखते हैं जो कहता है कि 'ओह यहाँ मेरा
00:33:58पाइनकोन रैग सिस्टम है' या 'यहाँ मेरा सुपरबेस रैग है' और वे ग्राफ रैग के बारे में कुछ भी उल्लेख नहीं करते
00:34:03या वे ऐसी किसी चीज़ का उल्लेख नहीं करते कि 'हे यहाँ हमारे पास यह परिष्कृत री-रैंकर
00:34:07सिस्टम है', तो यह बहुत खराब होगा, इस हद तक कि 'ओह इसकी वास्तविक प्रभावशीलता ऐसी है कि
00:34:1225% समय आपको सही चीज़ मिलती है', आप लगभग अंदाज़ा लगाने में ही बेहतर हैं, तो यदि आप यह
00:34:18जानकर नहीं चलते हैं, तो आप निश्चित रूप से धोखा खा सकते हैं या भ्रमित हो सकते हैं या कुछ मामलों में मूल रूप से उन
00:34:23रैग सिस्टम्स को खरीदने के लिए ठगे जा सकते हैं जिनका कोई मतलब नहीं है, और इसलिए लेवल 5 इन
00:34:28नेइव रैग सिस्टम्स को लागू करने के बारे में नहीं है, यह यह समझने के बारे में है कि वे कैसे काम करते हैं ताकि आप
00:34:34जब कुछ अधिक परिष्कृत लागू करने का समय आए, तो आप वास्तव में समझ सकें कि क्या हो रहा है क्योंकि
00:34:38रैग का वह पाँच मिनट का विवरण अफसोस की बात है कि ऐसी चीज़ नहीं है जिसे ज़्यादातर लोग समझते हैं जब वे कहते हैं कि 'मुझे
00:34:43एक रैग सिस्टम चाहिए', क्या आपको सच में चाहिए? क्योंकि आपको खुद से यह भी पूछना होगा कि आप वास्तव में
00:34:48अपने सिस्टम के बारे में किस तरह के सवाल पूछ रहे हैं? यदि आप बस, अनिवार्य रूप से अपने नॉलेज
00:34:54बेस को एक विशाल नियम पुस्तिका की तरह मान रहे हैं और आपको उस नॉलेज सिस्टम से बस विशिष्ट चीज़ों की
00:34:59ज़रूरत है, तो ओब्सीडियन शायद पर्याप्त है या आप शायद एक नेइव
00:35:02रैग सिस्टम से भी काम चला सकते हैं, लेकिन अगर हमें संबंधों के बारे में जानने की ज़रूरत है, अगर हमें यह जानने की ज़रूरत है कि X, Y के साथ कैसे इंटरैक्ट करता है और
00:35:09वे दो अलग दस्तावेज़ हैं, वे कभी एक-दूसरे का ज़िक्र भी नहीं करते हैं, और यह ऐसी चीज़ नहीं है
00:35:13जिसे मैं सीधे संदर्भ के अंदर डाल सकता हूँ क्योंकि मेरे पास ऐसे हज़ारों दस्तावेज़ हैं, तो
00:35:19वहाँ आपको रैग की ज़रूरत पड़ने वाली है और तब आपको बेसिक वेक्टर रैग से
00:35:23कुछ अधिक परिष्कृत चीज़ की ज़रूरत होगी, तभी हमें ग्राफ रैग के बारे में बात करना शुरू करने की ज़रूरत है, तो जब हम क्लॉड
00:35:29कोड और रैग के लेवल 6 के बारे में बात करते हैं, तो हम ग्राफ रैग के बारे में बात कर रहे हैं और हम इस बारे में बात कर रहे हैं और मेरी
00:35:34राय में यदि आप रैग का उपयोग करने जा रहे हैं तो यह सबसे बुनियादी इंफ्रास्ट्रक्चर है जो आपको
00:35:39बनाने की ज़रूरत है, यह लाइट रैग (light rag) का उपयोग कर रहा है जो पूरी तरह से एक ओपन सोर्स टूल है, मैं ऊपर एक लिंक डाल दूँगा जहाँ मैं
00:35:44विस्तार से बताता हूँ कि इसे कैसे उपयोग करना है और इसे कैसे बनाना है, लेकिन ग्राफ रैग का विचार बहुत ही स्पष्ट है, यह
00:35:50यह विचार है कि सब कुछ जुड़ा हुआ है, यह एक अलग-अलग वेक्टर्स वाला वेक्टर डेटाबेस नहीं है
00:35:55यह एक-दूसरे से जुड़ी हुई बहुत सारी चीज़ें हैं, ठीक है? मैं इस दस्तावेज़ पर क्लिक करता हूँ, मैं यहाँ दाईं ओर देख सकता हूँ
00:36:00और मैं इसे खिसका दूँगा, आप जानते हैं, वेक्टर का विवरण, नाम, प्रकार,
00:36:05फ़ाइल, टुकड़ा और फिर इससे भी महत्वपूर्ण बात, विभिन्न संबंध और यह संबंध
00:36:10आधारित दृष्टिकोण अधिक प्रभावी परिणाम देता है, यहाँ लाइट रैग के गिटहब से एक चार्ट है, यह
00:36:15लगभग छह से आठ महीने पुराना है और यह भी ध्यान देने योग्य है कि लाइट रैग सबसे हल्का ग्राफ रैग
00:36:23सिस्टम है जिसे मैं जानता हूँ, इसके कुछ बहुत मजबूत वर्ज़न्स भी हैं जिनमें माइक्रोसॉफ्ट का ग्राफ रैग खुद शामिल है
00:36:30यह एक ग्राफ है, इसे सचमुच ग्राफ रैग कहा जाता है, लेकिन जब हम नेइव रैग की तुलना लाइट रैग से करते हैं
00:36:35तो हर मामले में हमें अक्सर 100 प्रतिशत से अधिक की बढ़ोतरी मिलती है, है ना? 31.6 बनाम 68.4
00:36:4324 बनाम 76, 24 बनाम 75 वगैरह-वगैरह और इसके साथ ही, Light RAG के अनुसार,
00:36:49यह वास्तव में खुद GraphRAG को भी टक्कर देता है और पछाड़ देता है; लेकिन ये Light RAG के आंकड़े हैं,
00:36:54इसलिए इन्हें सावधानी से लें। अब जब हम इस नॉलेज ग्राफ सिस्टम को देखते हैं, तो तुरंत
00:36:58आपका ध्यान Obsidian की ओर जा सकता है क्योंकि यह बहुत मिलता-जुलता दिखता है, हालांकि जिसे हम यहाँ
00:37:04Obsidian में देख रहे हैं वह Light RAG या किसी भी GraphRAG सिस्टम की तुलना में बहुत अधिक प्राथमिक है,
00:37:10क्योंकि यहाँ जो कनेक्शन हम देख रहे हैं, वे सभी मैन्युअल और कुछ हद तक मनमाने हैं; यह केवल
00:37:16इसलिए जुड़े हैं क्योंकि हमने संबंधित दस्तावेज़ सेट किए हैं या Claude Code ने संबंधित दस्तावेज़ सेट किए जब इसने
00:37:22इस विशेष दस्तावेज़ को बनाया था, उदाहरण के लिए बस कुछ ब्रैकेट जोड़ दिए और, वो दस्तावेज़ जुड़ गया।
00:37:27तो सिद्धांत रूप में मैं उन बहुत सारे रैंडम दस्तावेज़ों को जोड़ सकता हूँ जिनका वास्तव में एक-दूसरे से कोई लेना-देना नहीं है।
00:37:30अब क्योंकि Claude Code मूर्ख नहीं है, वह ऐसा नहीं करेगा, लेकिन यह उससे बहुत अलग है
00:37:35जो यहाँ हुआ है; जैसे कि यह एक वास्तविक एम्बेडिंग सिस्टम से गुजरा है, इसने वास्तविक
00:37:41कंटेंट को देखा, एक संबंध स्थापित किया, एक एंटिटी भेजी; यहाँ Light RAG के अंदर
00:37:46Obsidian की तुलना में संबंधों को परिभाषित करने में बहुत अधिक काम हो रहा है। अब, क्या यह अंतर वास्तव में
00:37:52निचले स्तर पर प्रदर्शन के मामले में किसी बड़े अंतर के बराबर है? शायद बड़े पैमाने पर ऐसा हो,
00:38:02लेकिन फिर से हम उस धुंधले क्षेत्र में हैं; यह आपके स्केल और हमारी चर्चा के विषय पर निर्भर करता है,
00:38:07और आपके व्यक्तिगत अनुभव के अलावा कोई भी इस सवाल का जवाब नहीं दे सकता। लेकिन समझें कि ये दोनों
00:38:13चीजें एक जैसी नहीं हैं; हम एक जैसे नहीं हैं भाई, ये दो पूरी तरह से अलग सिस्टम हैं, एक
00:38:20काफी परिष्कृत है और एक काफी प्राथमिक है, इसे समझें। और GraphRAG में लेवल 6 को समाप्त करने के लिए,
00:38:26हम यहाँ वास्तव में तब आते हैं जब हमने तय कर लिया हो कि Obsidian जैसी चीज़ें काम नहीं कर रही हैं, हम
00:38:31नॉर्मल RAG जैसी चीज़ का उपयोग नहीं कर सकते क्योंकि वह काम नहीं करता, और हमें कुछ ऐसा चाहिए जो एंटिटीज़
00:38:36और संबंधों को निकाल सके और वास्तव में हाइब्रिड वेक्टर प्लस ग्राफ क्वेरी सिस्टम डिज़ाइन का लाभ उठा सके।
00:38:43लेकिन यहाँ लेवल 6 पर भी कुछ जाल हैं, कुछ गंभीर रुकावटें हैं, जब हम बात करते हैं
00:38:48Light RAG की, तो यह सिर्फ टेक्स्ट है। क्या होगा अगर मेरे पास स्कैनेबल PDF हों? क्या होगा अगर मेरे पास वीडियो हों? क्या होगा अगर मेरे पास
00:38:55इमेजेस हों? हम ऐसी दुनिया में नहीं रहते जहाँ आपके सभी दस्तावेज़ केवल गूगल डॉक्स होंगे,
00:39:01तो ऐसे मामलों में हम क्या करें? इसलिए मल्टीमॉडल रिट्रीवल एक बड़ी चीज़ है और इसके अलावा,
00:39:06इन सिस्टम्स में कुछ और एजेंटिक गुण लाने के बारे में क्या? इसे थोड़ी और AI पावर या उस विभाग में
00:39:11बढ़ावा देने के बारे में? खैर, अगर हम उन चीजों के बारे में बात कर रहे हैं जो मल्टीमॉडल हैं, तो हम अंततः
00:39:17आज के युग में RAG के सबसे आधुनिक स्तर की ओर बढ़ सकते हैं, अप्रैल 2026 के अनुसार लेवल 7 यही है।
00:39:24अब जब हम लेवल 7 में एजेंटिक RAG की बात करते हैं, तो मुख्य चीज़ जिस पर हम यहाँ ध्यान देना चाहते हैं
00:39:31वह मल्टीमॉडल इंजेशन से संबंधित चीजें हैं। अब, हमने इन चीजों पर वीडियो बनाए हैं, जैसे
00:39:36RAG-Anything जो हमें इमेजेस और नॉन-टेक्स्ट दस्तावेज़ों को इम्पोर्ट करने की अनुमति देता है, फिर से स्कैनेबल PDF के बारे में सोचें,
00:39:44उन्हें यहाँ दिखाए गए Light RAG नॉलेज ग्राफ जैसे स्ट्रक्चर्स में। हमारे पास Gemini Embedding 2 जैसे नए रिलीज़ भी हैं
00:39:49जो अभी मार्च में आया है, जो हमें वास्तव में अपने वेक्टर डेटाबेस में वीडियो एम्बेड करने की अनुमति देता है,
00:39:56स्वयं वीडियो, और स्पष्ट रूप से यह क्षेत्र इसी ओर जा रहा है; केवल टेक्स्ट दस्तावेज़ करना पर्याप्त नहीं है।
00:40:01इंटरनेट पर, विशेष रूप से यूट्यूब जैसी जगहों पर कितनी जानकारी, कितना ज्ञान फंसा हुआ है,
00:40:06जो विशुद्ध रूप से वीडियो है? और हम सिर्फ एक ट्रांसक्रिप्ट से कहीं ज्यादा चाहते हैं। एक ट्रांसक्रिप्ट
00:40:10काफी नहीं होती; इसलिए यह मल्टीमॉडल समस्या वास्तविक है और फिर से, यह वह चीज़ है जो
00:40:16अभी कुछ हफ्ते पहले ही आई है। लेवल 7 वह भी है जहाँ हमें अपने आर्किटेक्चर और पाइपलाइन्स पर
00:40:20ध्यान देना शुरू करना होगा जब बात हमारे RAG सिस्टम के अंदर और बाहर जाने वाले डेटा की हो। केवल
00:40:25डेटा अंदर डालना ही काफी नहीं है; जैसे कि यह बहुत अच्छा है, हमें पता है कि ये सभी कनेक्शंस और चीज़ें हैं,
00:40:30लेकिन डेटा वहाँ पहुँच कैसे रहा है? एक टीम के संदर्भ में डेटा वहाँ कैसे पहुँच रहा है?
00:40:35डेटा वहाँ से बाहर कैसे आ रहा है? जैसे, क्या होगा यदि यहाँ किसी विशेष दस्तावेज़ की कुछ जानकारी बदल गई है?
00:40:40क्या होगा यदि कोई इसे एडिट करता है? यह अपडेट कैसे होता है? क्या होगा यदि हम डुप्लिकेट्स जोड़ते हैं? कौन वास्तव में
00:40:46प्रोडक्शन लेवल की चीजों के मामले में इन्हें वहाँ रख सकता है? ये सभी सवाल हैं
00:40:50जो आपको खुद से पूछना शुरू करना चाहिए। और इसलिए जब हम n8n के इस जैसे एजेंटिक RAG सिस्टम को देखते हैं,
00:40:54तो आप देख सकते हैं कि बुनियादी ढांचे का विशाल हिस्सा, यहाँ जो कुछ भी दिखाया गया है, वह सब
00:41:01डेटा इंजेशन और डेटा सिंकिंग के बारे में है। केवल एक बहुत छोटा हिस्सा है जिसका RAG से कोई लेना-देना है, जो कि
00:41:06वहीं पर है, क्योंकि हमें ऐसे सिस्टम चाहिए जो डेटा को साफ़ करें, जो यह देख सकें कि ठीक है, हमने
00:41:11अभी इस दस्तावेज़ को लिया है, वास्तव में यह वर्ज़न 1 का वर्ज़न 2 था, क्या अब हम वापस जाकर उस डेटा को साफ़ कर सकते हैं?
00:41:17यहाँ एक डेटा इंजेशन पाइपलाइन जैसा कुछ है जहाँ दस्तावेज़ सीधे सिस्टम में नहीं डाले जाते,
00:41:21या Light RAG में, इसके बजाय हम इसे गूगल ड्राइव जैसी किसी चीज़ में रखते हैं और वहाँ से इसे
00:41:27में लॉग किया जाता है। यही वो चीज़ें हैं जो वास्तव में आपके
00:41:31RAG सिस्टम को सफल या असफल बनाएंगी जब आप इसका असली इस्तेमाल करेंगे और जब हम एजेंटिक RAG के बारे में बात करते हैं तो आप यहाँ देख सकते हैं और
00:41:37मुझे पता है कि यह काफी धुंधला है लेकिन अगर हमारे पास इस पूरे प्रोग्राम को चलाने वाला एक AI एजेंट है तो मान लीजिए आपने
00:41:42अपनी टीम के लिए किसी तरह का चैटबॉट सेटअप किया है। क्या उसे हमेशा इस डेटाबेस को हिट करने की ज़रूरत है? जवाब है
00:41:49शायद नहीं। संभावना है कि टीम सेटिंग में, बिजनेस सेटिंग में आपके पास ऐसी जानकारी होगी
00:41:54जो इस तरह के डेटाबेस में हो जैसे टेक्स्ट या कुछ और लेकिन आपके पास शायद एक और सेट
00:41:58डेटाबेस का भी होगा जैसे सामान्य पोस्टग्रेस डेटाबेस जिसमें बहुत सारी जानकारी हो जिसे आप
00:42:03SQL के साथ क्वेरी करना चाहते हैं। तो जब हम एजेंटिक RAG सिस्टम की बात करते हैं तो हमें कुछ ऐसा चाहिए जिसमें वह सब हो,
00:42:08बुद्धिमानी से यह तय करने की क्षमता कि ओह, क्या मैं यहाँ दिखाए गए
00:42:15ग्राफ RAG डेटाबेस को हिट करने जा रहा हूँ या मैं पोस्टग्रेस में कुछ SQL क्वेरी करने जा रहा हूँ? ये चीजें
00:42:20जटिल हो सकती हैं, ठीक है? और यह सब इस्तेमाल के मामले (use case) पर निर्भर करता है, यही वजह है कि कभी-कभी
00:42:23ये वीडियो बनाना और हर एक मुश्किल स्थिति को कवर करना कठिन होता है। लेवल 7 पर मुद्दा यह नहीं है
00:42:30कि यहाँ कोई ऐसा सुपर RAG सिस्टम है जिसके बारे में आपने कभी नहीं सुना, बल्कि यह है कि
00:42:34असली चुनौती बारीकियों में है और वह ज्यादातर डेटा इंजेक्शन और उसे अप-टू-डेट
00:42:39रखने के बारे में है। लेकिन यह भी कि आप वास्तव में इसे एक्सेस कैसे करते हैं? डेमो में यह करना आसान है; यहाँ देखो, ओह हम
00:42:46बस लाइट RAG पर जाते हैं और मैं रिट्रीवल पर जाकर सवाल पूछता हूँ। लेकिन स्थिति तब बदल जाती है
00:42:50जब हम टीम के साथ इसकी बात करते हैं और हर कोई इसे अलग-अलग नजरिए से देख रहा होता है और
00:42:55आप शायद नहीं चाहेंगे कि वेब ऐप पर हर किसी के पास सीधे लाइट RAG में
00:43:01अपलोड करने का एक्सेस हो। वैसे, उस सोलो ऑपरेटर के लिए जो किसी तरह का
00:43:07परिष्कृत RAG सिस्टम बनाना चाहता है जो मल्टीमॉडल काम कर सके, मैं "RAG Anything" और "Light RAG" के कॉम्बिनेशन का सुझाव दूंगा।
00:43:14मैंने उस पर एक वीडियो बनाया है और अगर मैंने उसे अभी तक लिंक नहीं किया है, तो मैं ऊपर लिंक कर दूँगा। मैं कुछ कारणों से इसका सुझाव देता हूँ,
00:43:19एक तो यह ओपन सोर्स है और हल्का है इसलिए ऐसा नहीं है कि आप
00:43:26इसे चलाने के लिए बहुत सारा पैसा या समय खर्च कर रहे हैं यह देखने के लिए कि क्या यह आपके काम के लिए सही है।
00:43:31फिर से, हम जो चाहते हैं वह यह है कि हम ऐसे सिस्टम में न फंसें जहाँ से बाहर निकलने का कोई रास्ता न हो और
00:43:37हमने वहाँ पहुँचने के लिए बहुत सारा पैसा खर्च कर दिया हो, यही कारण है कि मुझे ओब्सीडियन पसंद है और मैं हमेशा
00:43:42लाइट RAG और RAG एनीथिंग जैसी चीजों की सिफारिश करता हूँ क्योंकि अरे, अगर आप इसे आजमाते हैं और यह आपके लिए काम नहीं करता,
00:43:45या समझ में नहीं आता है, तो ठीक है। आपने बस कुछ घंटे बर्बाद किए, ऐसा नहीं है कि आप
00:43:50माइक्रोसॉफ्ट के ग्राफ RAG पर बहुत सारा पैसा खर्च कर रहे हैं जो किसी भी तरह से सस्ता नहीं है। तो आपको कैसे पता चलेगा
00:43:56कि आप लेवल 7 पर हैं? वास्तव में मल्टीमॉडल चीजें जैसे आपको इमेज, टेबल और वीडियो को इंडेक्स करने की जरूरत है और
00:44:02आप किसी तरह का एजेंट सिस्टम एकीकृत कर रहे हैं जहाँ वह समझदारी से तय कर सके कि जानकारी का जवाब देने के लिए उसे कौन सा रास्ता चुनना है
00:44:06क्योंकि लेवल 7 पर आप शायद इन सब चीजों को एकीकृत कर रहे हैं। आपके पास शायद
00:44:12कुछ स्थायी जानकारी वाली एक Claude MD फ़ाइल होगी, शायद आपके पास कोड बेस में कुछ मार्कडाउन फ़ाइलें होंगी
00:44:16जो आसान रिट्रीवल के लिए सही लगती हैं, शायद आप इसमें ओब्सीडियन को भी शामिल कर रहे हैं
00:44:20जो किसी वॉल्ट में है, साथ ही आपके पास शायद दस्तावेजों का एक हिस्सा होगा जो ग्राफ RAG
00:44:25डेटाबेस में है और आपके पास सबसे ऊपर एक AI सिस्टम है जो यह तय कर सकता है कि वे यह सवाल पूछें, तो मैं इस
00:44:33रास्ते पर जाऊँगा। यह एक परिपक्व मेमोरी आर्किटेक्चर है जिसका मैं सुझाव दूंगा। लेकिन यहाँ फँसने वाली बात क्या है?
00:44:40ईमानदारी से कहूँ तो फँसने वाली बात खुद को इस स्तर और इस तरह के परिष्कार के लिए मजबूर करना है जब
00:44:47इसकी ज़रूरत ही न हो। सच तो यह है कि इन सबके बाद आप में से अधिकांश लोग ओब्सीडियन के साथ ही ठीक हैं। वह
00:44:52पर्याप्त से अधिक है। आपको ग्राफ RAG की ज़रूरत नहीं है, आपको सामान्य रूप से RAG की वास्तव में ज़रूरत नहीं है और अगर यह साफ़ नहीं है
00:44:57कि आपको लेवल 7 की ज़रूरत है और निश्चित रूप से यदि आपने पहले ही ओब्सीडियन वाला रास्ता नहीं आज़माया है, तो आपको यहाँ होने की ज़रूरत नहीं है,
00:45:01यह शायद आपके समय की बर्बादी है। लेकिन इस पूरे वीडियो का उद्देश्य अपनी पूरी क्षमता के साथ
00:45:07आपको उन अलग-अलग स्तरों से अवगत कराना था जो मैं RAG, मेमोरी और Claude Code में देखता हूँ और
00:45:12यह समस्या क्या है, इसमें क्या तनाव और समझौते हैं और आपको अपने उपयोग के मामले के लिए
00:45:18शायद कहाँ होना चाहिए। और फिर, सबसे बड़ी बात बस प्रयोग करना है। आपको इसमें कूदने से पहले
00:45:24जवाब जानने की ज़रूरत नहीं है, बस उन्हें आज़माएँ और मैं कहूँगा कि बढ़ते क्रम में आज़माएँ। अगर आपका काम
00:45:28Claude सिस्टम में केवल मार्कडाउन फ़ाइलों से चल जाता है और यह मूल रूप से पावरफुल Claude.md है, तो बहुत बढ़िया है, आगे बढ़ें।
00:45:34और फिर ओब्सीडियन आज़माएँ। अगर ओब्सीडियन पर्याप्त नहीं है, तो लाइट RAG आज़माएँ और इसी तरह। तो मैं
00:45:39आज के लिए आपको यहीं छोड़ूँगा। अगर आप और सीखना चाहते हैं, खासकर RAG के प्रोडक्शन
00:45:43साइड के बारे में कि इसे टीम के लिए कैसे चालू किया जाए या क्लाइंट के लिए इसे कैसे तैयार किया जाए, तो हमारे पास
00:45:47Chase AI Plus के अंदर उस पर एक पूरा मॉड्यूल है। तो उसे ज़रूर देखें। इसके अलावा, मुझे बताएं कि आपको यह कैसा लगा,
00:45:52मुझे पता है कि यह एक लंबा वीडियो था और मैं आपसे फिर मिलूँगा।