00:00:00RAG की मौत की खबरें बहुत बढ़ा-चढ़ाकर पेश की गई हैं।
00:00:03हाँ, मैं जानता हूँ कि Opus 4.6 जैसे बड़े भाषा मॉडल
00:00:05हाल ही में बड़े कॉन्टेक्स्ट को संभालने में बहुत बेहतर हो गए हैं।
00:00:09लेकिन अगर आपको लगता है कि इसका मतलब है कि आपको कभी RAG की ज़रूरत नहीं पड़ेगी,
00:00:12तो आप एक ऐसी दीवार से टकराने वाले हैं
00:00:14जिससे आप सिर्फ़ प्रॉम्प्टिंग के ज़रिए बाहर नहीं निकल सकते।
00:00:16तो आज मैं समझाने जा रहा हूँ कि आपको RAG की ज़रूरत कब पड़ती है,
00:00:192026 में किस तरह का RAG असल में काम करता है
00:00:22क्योंकि पिछले एक साल में परिदृश्य काफी बदल गया है,
00:00:25और मैं आपको दिखाने वाला हूँ कि क्लाउड कोड को
00:00:28अपने RAG सिस्टम से कैसे जोड़ें,
00:00:30साथ ही आपको कुछ ऐसे कौशल दूँगा जिन्हें आप खुद आज़मा सकते हैं।
00:00:32तो आज का लक्ष्य आपको यह देना है,
00:00:35लाइट RAG की मदद से बनाया गया एक ग्राफ RAG सिस्टम
00:00:38जिसे हम क्लाउड कोड के साथ इस्तेमाल कर सकें।
00:00:40और इससे भी महत्वपूर्ण बात यह है कि यह हमें एक ऐसा सिस्टम देगा
00:00:43जिसे हम तब इस्तेमाल कर सकें जब हमें AI का उपयोग
00:00:45दस्तावेज़ों के विशाल संग्रह के साथ करना हो, ठीक है?
00:00:49सिर्फ़ 5 दस्तावेज़ नहीं, सिर्फ़ 10 दस्तावेज़ नहीं
00:00:51जैसा कि आप डेमो में देखेंगे,
00:00:52बल्कि 500 दस्तावेज़, 1,000 दस्तावेज़,
00:00:55क्योंकि सिर्फ़ उस कॉन्टेक्स्ट विंडो पर निर्भर रहना काफी नहीं है
00:00:57जो क्लाउड कोड या किसी अन्य LLM के साथ आती है।
00:00:59क्योंकि जब आप बड़े पैमाने पर काम करना शुरू करते हैं,
00:01:01जैसा कि आप कई बड़े उद्यमों
00:01:03या छोटे व्यवसायों में भी देखते हैं,
00:01:05तो इस तरह का RAG सिस्टम होना आपके मानक एजेंटिक ग्रेप (grep) की तुलना में
00:01:06असल में सस्ता और तेज़ होता है।
00:01:10तो इस बात को ध्यान में रखते हुए,
00:01:12इस तरह के RAG सिस्टम बनाने का कौशल होना बहुत महत्वपूर्ण है,
00:01:13लेकिन सौभाग्य से यह काफी सरल है।
00:01:14और जैसा कि मैंने अभी संकेत दिया,
00:01:16आज हम लाइट RAG का इस्तेमाल करेंगे।
00:01:18यह एक ओपन सोर्स रेपो है जिसे मैं बहुत पसंद करता हूँ।
00:01:19यह काफी समय से मौजूद है,
00:01:21और इसे बार-बार अपडेट किया गया है।
00:01:25यह माइक्रोसॉफ्ट जैसे अधिक परिष्कृत
00:01:26ग्राफ RAG सिस्टम का मुकाबला कर सकता है
00:01:28वह भी उसकी लागत के मात्र एक छोटे से हिस्से में।
00:01:30तो अगर आपने पहले कभी इसका इस्तेमाल नहीं किया है, तो इन ग्राफ RAG
00:01:32कॉन्सेप्ट्स को आज़माने के लिए यह एकदम सही जगह है।
00:01:35लेकिन लाइट RAG का पूरा लाभ उठाने के लिए,
00:01:37हमें यह समझना होगा कि RAG बुनियादी स्तर पर कैसे काम करता है,
00:01:40क्योंकि RAG का परिदृश्य बदल गया है।
00:01:432024 के अंत और 2025 की शुरुआत में हम जो कर रहे थे
00:01:46उसे "नेइव (naive) RAG" कहा जाता था, जो RAG का सबसे बुनियादी स्तर है।
00:01:48उन सभी NADN ऑटोमेशन को याद करें जहाँ कहा जाता था,
00:01:51कि "चलो पाइनकोन (Pinecone) और सुपरबेस (Supabase) पर चलते हैं।"
00:01:54वह नेइव RAG था।
00:01:56वह अब काम नहीं करता।
00:01:58वह अब काफी नहीं है।
00:02:00हमें RAG के अधिक परिष्कृत संस्करणों का उपयोग करना होगा,
00:02:02लेकिन पहले हमें बुनियादी बातों को समझना होगा।
00:02:03तो लाइट RAG सेटअप में उतरने से पहले
00:02:06आइए एक बार जल्दी से दोहरा लें कि RAG क्या है और यह कैसे काम करता है।
00:02:08तो RAG यानी रिट्रीवल ऑगमेंटेड जनरेशन (Retrieval Augmented Generation)।
00:02:12यह इस तरह काम करता है कि मैं सबसे पहले
00:02:14किसी तरह के दस्तावेज़ से शुरुआत करता हूँ, ठीक है?
00:02:18और एक मज़बूत RAG सिस्टम में
00:02:20मेरे पास ऐसे हज़ारों दस्तावेज़ होंगे।
00:02:22लेकिन होता यह है कि मेरे पास यह दस्तावेज़ है
00:02:25जिसे मैं अपने RAG सिस्टम के अंदर,
00:02:27एक वेक्टर डेटाबेस के अंदर डालना चाहता हूँ।
00:02:29अब, यहाँ ऐसा नहीं होता कि दस्तावेज़ को
00:02:31बस सीधे इस डेटाबेस में फेंक दिया जाता है,
00:02:34जैसे कि यह कोई गूगल ड्राइव सिस्टम हो।
00:02:38होता यह है कि दस्तावेज़ एक एम्बेडिंग मॉडल से गुज़रता है
00:02:40और फिर वह एक वेक्टर में बदल जाता है।
00:02:41लेकिन उससे भी बढ़कर,
00:02:44दस्तावेज़ एक बड़े टुकड़े के रूप में नहीं जाता।
00:02:46इसे छोटे टुकड़ों (chunks) में विभाजित किया जाता है।
00:02:47तो कल्पना कीजिए कि हमारे पास यह एक पन्ने का दस्तावेज़ है
00:02:50और इसे चंक 1, चंक 2 और चंक 3 में बाँट दिया गया है।
00:02:51इनमें से प्रत्येक चंक फिर वेक्टर बन जाता है,
00:02:54जो कि एक ग्राफ पर बस एक बिंदु है,
00:02:59एक वेक्टर डेटाबेस में एक बिंदु।
00:03:03अब, एम्बेडिंग मॉडल ही हमारे लिए यह चंकिंग करता है।
00:03:05उसकी ज़िम्मेदारी इस दस्तावेज़ को लेने,
00:03:06यह समझने कि यह किस बारे में है,
00:03:09और फिर इसे इस ग्राफ पर एक बिंदु में बदलने की होती है।
00:03:11तो दस्तावेज़ के टुकड़े किए जाते हैं,
00:03:13यह एम्बेडिंग मॉडल से गुज़रता है,
00:03:16और फिर हमारा दस्तावेज़ इस ग्राफ पर एक वेक्टर बन जाता है।
00:03:18अब, यह एक त्रि-आयामी (three-dimensional) ग्राफ है।
00:03:20असलियत में, इसमें हज़ारों आयाम होते हैं,
00:03:24लेकिन अभी के लिए इसे बस एक 3D ग्राफ की तरह समझें।
00:03:27अब, मान लीजिए कि यह दस्तावेज़ युद्धपोतों (warships) के बारे में था।
00:03:30ठीक है, और प्रत्येक वेक्टर युद्धपोतों के बारे में
00:03:33किसी तरह के चंक में बदल गया।
00:03:36तो यह कहाँ जाएगा?
00:03:39ज़ाहिर है, यह यहाँ नावों और जहाजों के पास जाएगा,
00:03:40और यह अपना एक छोटा सा वेक्टर बन जाएगा।
00:03:41और वेक्टर से मेरा मतलब है,
00:03:43इसे संख्याओं की एक श्रृंखला दी जाती है जो इसे दर्शाती है।
00:03:45आप इसे यहाँ केलों (bananas) के साथ देख सकते हैं।
00:03:46तो केले के लिए संख्याएँ 0.52, 5.12, 9.31 और इसी तरह आगे हैं।
00:03:50यह हज़ारों संख्याओं तक जाता है।
00:03:53तो हमारा यह छोटा नाव वाला हिस्सा यहाँ एक, दो, तीन,
00:03:57और ऐसे ही आगे बढ़ता रहता है।
00:04:00काफी आसान है।
00:04:05ज़ाहिर है, यह केलों और सेबों के पास नहीं होगा,
00:04:07लेकिन यही दस्तावेज़ से एम्बेडिंग की प्रक्रिया है,
00:04:08साथ ही चंकिंग की भी।
00:04:10अब, मान लीजिए कि आप यहाँ हैं, ठीक है?
00:04:14आप हमारे यहाँ के खुशमिजाज़ व्यक्ति हैं,
00:04:15और आपने बड़े भाषा मॉडल से
00:04:18युद्धपोतों के बारे में एक सवाल पूछा।
00:04:20तो, इस RAG सिस्टम परिदृश्य में उस सवाल को भी
00:04:21एक वेक्टर में बदल दिया जाएगा।
00:04:24तो आपके सवाल को LLM देखता है,
00:04:27और वह उसे संख्याओं की एक श्रृंखला देता है
00:04:30जो इस डेटाबेस में
00:04:34किसी तरह के वेक्टर के अनुरूप होती है, ठीक है?
00:04:35और यह क्या करेगा कि यह तुलना करेगा
00:04:38कि आपके सवाल का वेक्टर क्या है
00:04:41और ग्राफ में मौजूद अन्य वेक्टर क्या हैं।
00:04:43यह "कोसाइन सिमिलैरिटी" (cosine similarity) नामक चीज़ को देखता है,
00:04:45लेकिन असल में यह सिर्फ़ यह कह रहा है,
00:04:49कि सवाल इस बारे में था।
00:04:51हमने ये संख्याएँ निर्धारित की हैं।
00:04:53कौन से वेक्टर इसके सबसे करीब हैं?
00:04:55उस सवाल के सबसे करीब कौन सी संख्याएँ हैं?
00:04:56तो यह युद्धपोतों वाला होगा
00:04:58और शायद नावों और जहाजों वाला।
00:05:00तो अब यह उन सभी वेक्टर्स को
00:05:02उनकी सारी जानकारी के साथ निकाल लेगा (retrieve),
00:05:04और यह आपके लिए उत्पन्न होने वाले जवाब को बेहतर बनाएगा (augment),
00:05:08इसीलिए इसे रिट्रीवल ऑगमेंटेड जनरेशन कहते हैं।
00:05:10तो बड़े भाषा मॉडल को पूरी तरह से
00:05:13अपने ट्रेनिंग डेटा पर निर्भर रहने के बजाय,
00:05:16यह वेक्टर डेटाबेस के अंदर जाने,
00:05:17संबंधित वेक्टर्स को पकड़ने,
00:05:19उन्हें वापस लाने और आपको युद्धपोतों के बारे में जवाब देने में सक्षम बनाता है।
00:05:22RAG इसी तरह काम करता है, है ना?
00:05:24दस्तावेज़ का इनजेशन, और टुकड़ों का वेक्टर में बदलना।
00:05:27फिर उस वेक्टर की तुलना पूछे गए सवाल से की जाती है,
00:05:29सबसे करीबी टुकड़ों को लाया जाता है, और बस, हो गया RAG।
00:05:32और यह नेइव RAG है,
00:05:35और सच तो यह है कि यह बहुत अच्छी तरह काम नहीं करता।
00:05:39इसलिए मुझसे और आपसे ज़्यादा समझदार लोगों ने
00:05:40इसे करने के बेहतर तरीके खोजे हैं,
00:05:44जैसे हाइब्रिड सर्च, ग्राफ RAG और एजेंटिक RAG।
00:05:46आज हमारा ध्यान ग्राफ RAG पर होगा।
00:05:49अब ग्राफ RAG भी उसी प्रक्रिया से गुज़रता है।
00:05:53आपके पास अभी भी वह दस्तावेज़ होगा।
00:05:55इसके अभी भी टुकड़े किए जाएँगे।
00:05:57इसे अभी भी इस सपाट वेक्टर डेटाबेस में रखा जाएगा,
00:05:58लेकिन यह एक और काम करेगा।
00:05:59यह एक नॉलेज ग्राफ (knowledge graph) भी बनाएगा।
00:06:03यह इस जटिल सी चीज़ को बनाएगा।
00:06:05तो यह सब क्या है?
00:06:07ये सभी वेक्टर और लाइनें क्या हैं?
00:06:08इसका असल में मतलब क्या है?
00:06:09तो ये सभी वेक्टर, ये छोटे घेरे,
00:06:11इन्हें "एंटिटी" (entities) के रूप में जाना जाता है।
00:06:12और वे लाइनें जो दो एंटिटीज को जोड़ती हैं,
00:06:14वे एक "एज" (edge) या संबंध (relationship) होती हैं।
00:06:17तो हमारे दस्तावेज़ वाले उदाहरण पर वापस चलते हैं,
00:06:21कल्पना कीजिए कि यह दस्तावेज़ एंथ्रोपिक और क्लाउड कोड के बारे में है।
00:06:23और जो पूरा टुकड़ा निकाला गया उसमें कहा गया था,
00:06:25"एंथ्रोपिक ने क्लाउड कोड बनाया।"
00:06:28यह उसे लेगा और इसे
00:06:31एंटिटीज और संबंधों में तोड़ देगा।
00:06:35दो एंटिटीज क्या हैं?
00:06:36एंटिटीज होने वाली हैं
00:06:38एंथ्रोपिक और क्लाउड कोड।
00:06:39और संबंध है कि एंथ्रोपिक ने क्लाउड कोड बनाया।
00:06:41तो आपके पास यहाँ एंथ्रोपिक है
00:06:44और यहाँ आपके पास क्लाउड कोड है।
00:06:48और आप देख सकते हैं कि यह एक एंटिटी है, यह भी एक एंटिटी है,
00:06:51और उनके बीच एक संबंध है।
00:06:54विजुअल ग्राफ पर, यह सिर्फ़ एक लाइन है,
00:06:58लेकिन कोडिंग के स्तर पर पर्दे के पीछे,
00:06:59इन दो एंटिटीज के बीच की उस लाइन
00:07:03के साथ बहुत सारा टेक्स्ट जुड़ा होता है
00:07:05जो उनके संबंध की व्याख्या करता है।
00:07:08और इसलिए एक ग्राफ RAG सिस्टम में,
00:07:10यह आपके द्वारा जोड़े गए हर एक दस्तावेज़ के लिए ऐसा ही करता है।
00:07:11कल्पना कीजिए इसे हज़ारों दस्तावेज़ों के साथ किया जाए।
00:07:13यह 10 दस्तावेज़ों के साथ है,
00:07:16ये सभी संबंध और ये सभी एंटिटीज।
00:07:19और आप कल्पना कर सकते हैं कि यह कितना अधिक परिष्कृत है
00:07:21उन वेक्टर्स के एक समूह की तुलना में
00:07:24जो सिर्फ़ एक वेक्टर डेटाबेस में अलग-थलग पड़े हों।
00:07:26और इसलिए लाइट RAG जैसे सिस्टम के साथ,
00:07:28हमें एक नॉलेज ग्राफ बनाने की सुविधा मिलती है
00:07:30और साथ ही आपका मानक वेक्टर डेटाबेस भी।
00:07:33यह इन दोनों चीज़ों को समानांतर रूप से करता है।
00:07:35और इसलिए जब आप अब बड़े भाषा मॉडल से
00:07:38किसी भी चीज़ के बारे में सवाल पूछते हैं,
00:07:40तो यह न केवल उस विशिष्ट वेक्टर को खींचता है
00:07:43जिसे वह सबसे करीब पाता है,
00:07:45बल्कि यह यहाँ नीचे भी जाएगा और एक एंटिटी को देखेगा।
00:07:47तो मान लीजिए आपने एंथ्रोपिक के बारे में पूछा।
00:07:49तो अब यह उन संबंधों और कड़ियों (edges) को खँगालेगा,
00:07:54और वह सब कुछ ढूँढ लेगा जो उसे प्रासंगिक लगता है।
00:07:56तो एक यूज़र के तौर पर आपके लिए इसका मतलब यह है कि,
00:07:59एक ग्राफ RAG सिस्टम के साथ,
00:08:03अब मैं बहुत अधिक गहरे सवाल पूछ सकता हूँ,
00:08:06सिर्फ़ एक दस्तावेज़ के बारे में नहीं।
00:08:08मैं अब बहुत अधिक गहरे प्रश्न पूछ सकता हूँ,
00:08:11सिर्फ किसी दस्तावेज़ के बारे में ही नहीं
00:08:13और अनिवार्य रूप से सिर्फ कंट्रोल F करने जैसा ही नहीं
00:08:15जो सभी प्रकार के उद्देश्यों के लिए होता है।
00:08:17अब मैं पूछ सकता हूँ कि कैसे विभिन्न दस्तावेज़ और विभिन्न सिद्धांत
00:08:19और विभिन्न विचार एक-दूसरे से संबंधित हैं
00:08:21क्योंकि वे संबंध मैप किए गए हैं, है ना?
00:08:24यही सब कुछ है।
00:08:25यह बिखरी हुई जानकारी लेने और उन्हें जोड़ने के बारे में है।
00:08:30यही ग्राफ रैक (graph rag) की शक्ति है।
00:08:32यही लाइट रैक (light rag) की शक्ति है।
00:08:33और आज हम यही सीखने जा रहे हैं।
00:08:35तो लाइट रैक को इंस्टॉल करना और उसका उपयोग करना
00:08:37उतना ही आसान है जितना आप इसे बनाना चाहते हैं।
00:08:40मैं आपको सबसे आसान तरीका दिखाने जा रहा हूँ
00:08:42जहाँ हम सिर्फ क्लाउड कोड लेने जा रहे हैं।
00:08:44हम इसे लाइट रैक का URL देने जा रहे हैं,
00:08:48और हम कहेंगे, "अरे, इसे हमारे लिए सेटअप कर दो।"
00:08:50और यह अनिवार्य रूप से सब कुछ कर देगा।
00:08:52उस स्थिति में, हमें बस कुछ चीज़ों की आवश्यकता होगी।
00:08:55जैसा कि आपने रैक कैसे काम करता है इसके ब्रेकडाउन में देखा,
00:08:58हमें एक एम्बेडिंग मॉडल (embedding model) की आवश्यकता है।
00:08:59तो उसके लिए एक API की आवश्यकता होगी।
00:09:02मेरा सुझाव OpenAI का उपयोग करने का है।
00:09:04उनके पास एक बहुत ही प्रभावी एम्बेडिंग मॉडल है।
00:09:07तो आपको एक OpenAI की (key) की आवश्यकता होगी।
00:09:09लाइट रैक के साथ आपके पास क्षमता है
00:09:11कि इसे पूरी तरह से स्थानीय (local) चीज़ बना सकें।
00:09:14तो आपके पास Ollama के माध्यम से एक स्थानीय मॉडल हो सकता है
00:09:17जो एम्बेडिंग के साथ सभी ब्रेकडाउन कर रहा हो,
00:09:20और साथ ही प्रश्न और उत्तर वाली चीज़ें भी।
00:09:21तो समझ लें कि पूरी तरह स्थानीय होने का विकल्प भी है।
00:09:24हम थोड़ा आधा-आधा करने जा रहे हैं।
00:09:25तो हम एक OpenAI एम्बेडिंग मॉडल सेटअप करने जा रहे हैं
00:09:28और साथ ही वह मॉडल जो वास्तव में सारा काम कर रहा है।
00:09:31और फिर हमें डॉकर (Docker) की भी आवश्यकता है।
00:09:34तो अगर आपने पहले कभी डॉकर का उपयोग नहीं किया है,
00:09:35तो इसे सेटअप करना काफी आसान है।
00:09:36आपको बस डॉकर डेस्कटॉप की आवश्यकता होगी,
00:09:39बस इसे डाउनलोड करें, इंस्टॉल करें और इसे चालू रखें
00:09:41जब आप लाइट रैक चलाएं,
00:09:42क्योंकि इसे एक कंटेनर की आवश्यकता होगी।
00:09:45तो अब आप जो करने जा रहे हैं
00:09:46वह यह है कि आप क्लाउड कोड खोलेंगे
00:09:47और आप कहेंगे, लाइट रैक रेपो को क्लोन करें,
00:09:50OpenAI के लिए कॉन्फ़िगर की गई .env फ़ाइल लिखें
00:09:53GPT-5 mini और text embedding three large के साथ,
00:09:56सभी डिफ़ॉल्ट लोकल स्टोरेज का उपयोग करें
00:09:58और इसे डॉकर कंपोज़ के साथ शुरू करें,
00:10:00और फिर इसे लाइट रैक का लिंक दें।
00:10:02अगर आप ऐसा करते हैं, तो यह आपके लिए सब कुछ कर देगा।
00:10:06मैं इस प्रॉम्प्ट को फ्री स्कूल कम्युनिटी के अंदर डाल दूँगा,
00:10:10उसका लिंक विवरण में है।
00:10:12इसके अलावा, वहाँ जो होने वाला है
00:10:13वह मैं आपको थोड़ी देर में दिखाऊँगा,
00:10:15क्लाउड कोड और लाइट रैक से संबंधित कुछ कौशल
00:10:17ताकि क्लाउड कोड से इसे नियंत्रित करना आसान हो सके।
00:10:19तो आप इसे वहाँ भी ढूँढ पाएंगे।
00:10:22और आप जानते थे कि यह आने वाला था।
00:10:22मेरे स्कूल की बात करें तो,
00:10:24क्लाउड कोड मास्टरक्लास के लिए एक छोटा सा प्रचार,
00:10:25जो ज़ीरो से AI डेवलपर बनने का नंबर एक तरीका है,
00:10:28खासकर यदि आप तकनीकी पृष्ठभूमि से नहीं आते हैं,
00:10:31इसका लिंक पिन किए गए कमेंट में है।
00:10:33मैं इसे सचमुच हर हफ्ते अपडेट करता हूँ
00:10:35पिछले दो हफ्तों में,
00:10:36मैंने पहले ही लगभग डेढ़ घंटा
00:10:38अतिरिक्त कंटेंट जोड़ दिया है।
00:10:39तो इसे निश्चित रूप से देखें
00:10:40यदि आप क्लाउड कोड और सामान्य रूप से AI
00:10:42में महारत हासिल करने के बारे में गंभीर हैं।
00:10:44लेकिन फिर से, यदि आप नए हैं, तो यह सब थोड़ा ज़्यादा लग सकता है,
00:10:46निश्चित रूप से फ्री स्कूल देखें
00:10:47जहाँ आपके लिए बहुत सारे बेहतरीन संसाधन हैं
00:10:49यदि आप अभी शुरुआत कर रहे हैं।
00:10:50और इसे चलाने से पहले,
00:10:51बस सुनिश्चित करें कि आपके पास डॉकर डेस्कटॉप चल रहा है
00:10:53और वह OpenAI की तैयार है
00:10:55और क्लाउड कोड को अपना काम करने दें।
00:10:56अब एक बार जब क्लाउड कोड इसे इंस्टॉल करना समाप्त कर लेता है
00:10:58और आप अपनी OpenAI की को ENV फ़ाइल में जोड़ देते हैं,
00:11:01तो आपको कुछ ऐसा दिखाई देना चाहिए।
00:11:02सबसे पहले, अपने डॉकर डेस्कटॉप पर,
00:11:04आपको लाइट रैक नाम का एक कंटेनर चालू और चलता हुआ दिखना चाहिए।
00:11:07और फिर क्लाउड कोड को आपको एक लिंक भी देना चाहिए
00:11:11आपके लोकल होस्ट का, यह 9621 होना चाहिए।
00:11:13और यह आपको एक पेज पर ले जाएगा जो इस तरह दिखता है।
00:11:15यह लाइट रैक के लिए वेब UI है।
00:11:18और यहीं पर हम दस्तावेज़ अपलोड कर सकते हैं,
00:11:21हम नॉलेज ग्राफ (knowledge graph) देख सकते हैं, चीज़ें पुनः प्राप्त कर सकते हैं,
00:11:24और हम सभी अलग-अलग
00:11:25API एंडपॉइंट्स पर भी नज़र डाल सकते हैं,
00:11:28जो बाद में काम आएंगे।
00:11:30और जो आप यहाँ देख रहे हैं वे दस्तावेज़ हैं
00:11:31जो मैंने इस वीडियो के लिए अपलोड किए हैं।
00:11:33दस्तावेज़ अपलोड करना बहुत, बहुत सरल है।
00:11:35हम बस यहाँ दाईं ओर आएंगे
00:11:36जहाँ 'अपलोड' लिखा है, और फिर आप उन्हें वहाँ डाल देंगे।
00:11:39अब समझ लें कि केवल कुछ प्रकार के दस्तावेज़ ही हैं
00:11:42जो हम यहाँ डाल सकते हैं, है ना?
00:11:43टेक्स्ट दस्तावेज़, PDF, अनिवार्य रूप से,
00:11:46आप टेक्स्ट दस्तावेज़ों तक ही सीमित हैं।
00:11:49अब इससे बचने का एक तरीका है,
00:11:51खासकर इमेज, चार्ट और टेबल
00:11:56और उस तरह की चीज़ों के साथ।
00:11:57और हम इसके बारे में अंत में बात करेंगे
00:11:59क्योंकि यह दायरे से थोड़ा बाहर है,
00:12:00लेकिन हम इसके बारे में सीखेंगे।
00:12:02तो आप जो भी दस्तावेज़ चाहते हैं उन्हें यहाँ डाल दें,
00:12:04और फिर आप उनकी स्थिति देख पाएंगे
00:12:07जैसे ही वे अपलोड होते हैं।
00:12:08इसमें थोड़ा समय लगेगा क्योंकि फिर से,
00:12:10यह ऐसा करते हुए नॉलेज ग्राफ बना रहा है।
00:12:12तो इसमें काफी समय लग सकता है।
00:12:14और अगर किसी कारण से आप नॉलेज ग्राफ पेज पर हैं
00:12:16क्योंकि ऐसा कभी-कभी हो सकता है और यह कहता है कि,
00:12:18"अरे, यह लोड नहीं हुआ," या जो भी,
00:12:19तो आप इसे ऊपर बाईं ओर
00:12:21इस बटन को दबाकर बस रीसेट कर सकते हैं।
00:12:23यदि आप रिट्रीवल (Retrieval) टैब पर आते हैं,
00:12:25तो वहाँ आप बड़े भाषा मॉडल (LLM) से
00:12:27अपने नॉलेज ग्राफ के बारे में प्रश्न पूछ सकते हैं,
00:12:30जो इस मामले में शायद OpenAI है
00:12:31यदि आपने एम्बेडिंग के लिए उसी की (key) का उपयोग किया है।
00:12:33और यहाँ दाईं ओर, हमारे पास कुछ पैरामीटर हैं।
00:12:36सच कहूँ तो, शुरुआत में आपको बहुत ज़्यादा बदलने की ज़रूरत नहीं है।
00:12:39और एक सेकंड में, मैं आपको दिखाऊँगा कि क्लाउड कोड इसे कैसे कर सकता है।
00:12:42लेकिन जैसे ही आप अपने प्रश्न पूछते हैं, जैसे कि उदाहरण के लिए,
00:12:44मेरे पास वहाँ बहुत सारे AI और रैक दस्तावेज़ थे।
00:12:47मैंने कहा, "अरे, 2026 में रैक चलाने की
00:12:48पूरी लागत वाली तस्वीर क्या है?"
00:12:50यह मुझे काफी परिष्कृत प्रतिक्रिया देता है।
00:12:53और उसके ऊपर, यह आपको संदर्भ (references) भी देता है
00:12:56उन सभी चीज़ों के लिए जो यह कर रहा है, है ना?
00:12:57यहाँ चार, तीन, दो देखें,
00:13:00क्योंकि पेज के नीचे,
00:13:01यह वास्तव में उन दस्तावेज़ों के संदर्भ देगा
00:13:03जिन्हें इसने पकड़ा है।
00:13:05और ज़ाहिर है कि हमारे नॉलेज ग्राफ के अंदर, ठीक है,
00:13:07हम संस्थाओं (entities) और संबंधों (relationships) की व्याख्या करते हैं।
00:13:09अगर मैं इनमें से किसी संस्था जैसे OpenAI पर क्लिक करता हूँ,
00:13:12तो मैं कुछ गुण देख सकता हूँ।
00:13:14तो यह लाइट रैक के साथ एम्बेडिंग प्रक्रिया में केवल
00:13:17संबंधों और संस्थाओं को खींचने से कहीं अधिक करता है।
00:13:19यह वास्तव में थोड़ा और गहराई में जाता है जैसे कि,
00:13:20"ठीक है, यह किस प्रकार की संस्था है, है ना?
00:13:22क्या यह कोई संगठन है या कोई व्यक्ति?"
00:13:25इसमें वे विशिष्ट फ़ाइलें हैं जिन्हें इसने पकड़ा है
00:13:27और साथ ही चंकिंग ID जैसी चीज़ें भी।
00:13:29और फिर आप नीचे दाईं ओर
00:13:31वास्तविक संबंधों को देख सकते हैं।
00:13:32मैं इसे एक सेकंड के लिए हटा देता हूँ।
00:13:33तो यहाँ नीचे दाईं ओर,
00:13:35यदि आप इसे स्पष्ट रूप से नहीं देख सकते,
00:13:36क्योंकि यह ग्राफ पर काफी गुच्छा सा बन सकता है,
00:13:40तो आप वास्तव में बस यहाँ क्लिक कर सकते हैं
00:13:41और यह आपको उन तक भी ले जाएगा।
00:13:43तो इस सर्वर API का हम उपयोग करने जा रहे हैं
00:13:46इस चीज़ को वास्तव में क्लाउड कोड से जोड़ने के लिए।
00:13:48क्योंकि यह जितना शानदार है,
00:13:50वैसा मैं वास्तव में यहाँ हर बार
00:13:51बैठने वाला नहीं हूँ जब मैं रिट्रीवल टैब के माध्यम से
00:13:53अपने नॉलेज ग्राफ के बारे में प्रश्न पूछना चाहूँगा।
00:13:56यह बहुत अधिक परेशानी वाला काम है।
00:13:57इसलिए इसके बजाय, हम बस इन API का उपयोग करेंगे।
00:14:00अब, इनमें से प्रत्येक API का, ठीक है,
00:14:03एक विवरण है, आप पैरामीटर और चीज़ें देख सकते हैं,
00:14:05इनमें से प्रत्येक API को एक कौशल (skill) में बदला जा सकता है, है ना?
00:14:08और मैं आज यहाँ यही करने और आपको दिखाने जा रहा हूँ।
00:14:11ताकि जब आप चाहें कि क्लाउड कोड लाइट रैक का उपयोग करे,
00:14:15तो हम बस क्लाउड कोड के अंदर जाते हैं, जहाँ भी हम हों,
00:14:17और कहते हैं, "अरे, मैं लाइट रैक क्वेरी कौशल का उपयोग करना चाहता हूँ
00:14:19और प्रश्न पूछना चाहता हूँ, ब्लह ब्लह ब्लह ब्लह ब्लह।"
00:14:22यह वही बात है जैसे कि आप यहाँ
00:14:23रिट्रीवल टैब में होते और अपना प्रश्न पूछते।
00:14:26और इससे भी बेहतर, क्लाउड कोड इसे मिलने वाली प्रतिक्रिया लेगा
00:14:28और उसका सार प्रस्तुत (summarize) करेगा
00:14:30क्योंकि जब लाइट रैक की बात आती है
00:14:32तो ये प्रतिक्रियाएँ काफी विस्तृत हो सकती हैं।
00:14:34लेकिन अगर आप सिर्फ सीधा उत्तर चाहते हैं,
00:14:36तो आप उसे भी सेटअप कर सकते हैं।
00:14:37मुद्दा यह है कि भले ही इसमें वेब UI है,
00:14:40आपको कभी भी वास्तव में इसके साथ इंटरैक्ट करने की ज़रूरत नहीं है
00:14:41यदि आप नहीं चाहते हैं।
00:14:42और इसे हमारे क्लाउड कोड इकोसिस्टम में
00:14:44लाना वास्तव में आसान है।
00:14:46तो वे चार बड़े कौशल जिनका मुझे लगता है कि आप सबसे अधिक उपयोग करेंगे,
00:14:48वे हैं क्वेरी, अपलोड, एक्सप्लोर और स्टेटस।
00:14:51ये चारों फ्री स्कूल के अंदर भी होंगे।
00:14:55लेकिन आप ज़्यादातर क्या कर रहे होंगे?
00:14:56आप नए दस्तावेज़ जोड़ रहे होंगे
00:14:58और आप उन दस्तावेज़ों के बारे में प्रश्न पूछ रहे होंगे।
00:15:01और आप शायद यह जानना चाहेंगे,
00:15:02"अरे, मैंने वास्तव में वहाँ क्या डाला था?"
00:15:04क्योंकि जब आपके पास बहुत सारे दस्तावेज़ हो जाते हैं,
00:15:05तो आप बार-बार एक ही दस्तावेज़ डालने से
00:15:07बचना चाहते हैं।
00:15:08और इसलिए यदि मैं क्लाउड कोड के अंदर वही प्रश्न पूछता हूँ,
00:15:12तो मैंने अभी-अभी लाइट रैक क्वेरी कौशल को सक्रिय किया है,
00:15:14यह उस अनुरोध को लाइट रैक को भेज रहा है,
00:15:18जो फिर से, हमारे कंप्यूटर पर होस्ट किया गया है,
00:15:21यह उस डॉकर (Docker) कंटेनर के अंदर चल रहा है,
00:15:22और यह प्रतिक्रिया वापस लाने वाला है।
00:15:24अब आप इस अर्ध-स्थानीय सिस्टम तक ही सीमित नहीं हैं।
00:15:28यदि आप कोई ऐसे व्यक्ति हैं जो लाइट रैग (light rag) के साथ
00:15:30बहुत बड़े स्तर पर स्केलिंग कर रहे हैं, तो आप इसे
00:15:33एक मानक पोस्टग्रेस (Postgres) सर्वर पर होस्ट कर सकते हैं।
00:15:36आपके पास बहुत सारे विकल्प हैं, आप नियन (neon) जैसा कुछ उपयोग कर सकते हैं।
00:15:38तो यह पूरी रेंज को कवर करता है।
00:15:40आप पूरी तरह से लोकल जा सकते हैं या आप यह सब
00:15:43अगर चाहें तो क्लाउड पर भी भेज सकते हैं।
00:15:44लाइट रैग बहुत ही ज्यादा कस्टमाइज़ करने योग्य है।
00:15:46और यहाँ वह प्रतिक्रिया है जो क्लॉड कोड (Clod code) ने वापस दी है,
00:15:48जो फिर से, उस रॉ रिस्पॉन्स (raw response) का सारांश है
00:15:52जो लाइट रैग ने हमें दिया था, और यह अपने स्रोतों का भी उल्लेख करता है।
00:15:55मैंने इससे रॉ रिस्पॉन्स के बारे में भी पूछा था
00:15:57क्योंकि आप उसे भी प्राप्त कर सकते हैं,
00:15:58क्योंकि यह क्लॉड कोड को बस एक
00:16:00JSON रिस्पॉन्स के रूप में वापस मिलता है।
00:16:02तो यह बस इतना ही है।
00:16:04और फिर, यदि आप चाहें तो इसमें संदर्भ (references) भी दिए गए हैं।
00:16:07तो जैसा कि आपने अभी देखा, लाइट रैग को इंस्टॉल करना बहुत आसान है
00:16:10और इसे अपने क्लॉड कोड वर्कफ़्लो में एकीकृत करना बहुत सरल है।
00:16:14अब सवाल यह आता है कि, ठीक है चेस, यह सुनने में बहुत अच्छा लग रहा है।
00:16:18मैं वैचारिक रूप से समझता हूँ कि यदि मेरे पास बहुत सारे दस्तावेज़ हैं,
00:16:20तो शायद मुझे इसका उपयोग करना चाहिए।
00:16:22तो फिर इसकी सीमा क्या है?
00:16:23मुझे लाइट रैग को कब एकीकृत करना शुरू करना चाहिए?
00:16:26देखिए, इसके लिए कोई सटीक संख्या नहीं है।
00:16:28ग्रे एरिया (संदेहपूर्ण क्षेत्र) के तौर पर, मैं कहूँगा कि लगभग 500
00:16:33से 2000 पन्नों के दस्तावेज़ों के बीच।
00:16:36मैं सिर्फ दस्तावेज़ नहीं कहना चाहता
00:16:37क्योंकि कौन जानता है कि वे कितने बड़े होंगे,
00:16:39लेकिन लगभग 500 से 2000 टेक्स्ट पेज।
00:16:42उस बिंदु पर 2000 पर, आप लगभग
00:16:44एक मिलियन टोकन तक पहुँचने लगते हैं।
00:16:47उसके बाद, निश्चित रूप से यह समझ में आता है कि
00:16:50लाइट रैग को एकीकृत करना शुरू कर दिया जाए,
00:16:52क्योंकि रैग (rag) जिस तरह से सेट अप किया गया है,
00:16:54ऐसा करना ज्यादा सस्ता और तेज़ होगा
00:16:57बजाय क्लॉड कोड से मानक grep पर भरोसा करने के।
00:17:00एजेंटेड grep, जिस तरह से क्लॉड कोड फाइलों को सर्च करता है
00:17:03वह पहले से ही बहुत बढ़िया है।
00:17:04क्लॉड कोड द्वारा ऐसा करने का एक कारण है।
00:17:07हालाँकि, यह इस धारणा के तहत नहीं था कि आपके पास 2000 पन्नों
00:17:12के दस्तावेज़ हैं या 4000 या 5000, है न?
00:17:14इसकी एक ऊपरी सीमा है।
00:17:16अच्छी बात यह है कि आपको यह निर्णय जरूरी नहीं कि
00:17:19पत्थर की लकीर मानना पड़े, जैसा कि आपने देखा,
00:17:22इसे लागू करना बहुत आसान है।
00:17:24तो बस प्रयोग करें।
00:17:26यदि आपको लगता है कि आपके पास बहुत सारे दस्तावेज़ हैं और ऐसा है कि,
00:17:28"अरे, क्या हमें इस समय रैग का उपयोग करना चाहिए?"
00:17:30तो मुझे नहीं पता, इसे आज़मा कर देखें।
00:17:32इसे करने में ज्यादा समय नहीं लगता।
00:17:34सबसे दर्दनाक हिस्सा एम्बेडिंग (embedding) की प्रक्रिया है।
00:17:36उसमें निश्चित रूप से थोड़ा समय लग सकता है, लेकिन यह कोई बहुत बड़ी बाधा नहीं है।
00:17:40और इसकी लागत भी पागलपन भरी नहीं है, खासकर लाइट रैग के साथ।
00:17:43यदि आप इसकी तुलना फिर से माइक्रोसॉफ्ट ग्राफ़ रैग जैसे
00:17:45अन्य ग्राफ़ रैग सिस्टम से करते हैं, तो यह उस लागत का एक
00:17:48बहुत ही छोटा प्रतिशत है।
00:17:49और बहुत बड़े दस्तावेज़ साइज़ पर,
00:17:52रैग बनाम grep जैसी किसी चीज़ की लागत का अंतर
00:17:56हज़ार गुना सस्ता होने के करीब है।
00:17:58पिछले साल गर्मियों में एक अध्ययन किया गया था
00:18:04कि उन स्थितियों में रैग का उपयोग करना
00:18:071250 गुना सस्ता था।
00:18:08आप इसे यहाँ टेक्स्चुअल रैग बनाम
00:18:10टेक्स्चुअल LLM के साथ-साथ वास्तविक रिस्पॉन्स टाइम में भी देख सकते हैं।
00:18:14अब, पूरी स्पष्टता के साथ कहूँ तो, यह पिछले साल जुलाई का डेटा था।
00:18:19इसलिए मॉडल बदल गए हैं।
00:18:20मुझे बहुत संदेह है कि यह अभी भी उतना ही बड़ा अंतर है
00:18:23जब हम रैग बनाम मानक तकनीकी स्थितियों की तुलना करते हैं।
00:18:26और यह Gemini 2.0 का समय भी था।
00:18:28हम किसी 'हार्नेस' (harness) के बारे में बात नहीं कर रहे थे।
00:18:29तो बहुत सारी चीजें बदल गई हैं,
00:18:31लेकिन क्या यह 1250 गुना के अंतर को कम करने के लिए पर्याप्त है?
00:18:36शायद हाँ, शायद नहीं।
00:18:39मुझे ऐसा नहीं लगता।
00:18:40चाहे जो भी हो, बस इसे आज़मा कर देखें।
00:18:42मुझे नहीं लगता कि इसमें खोने के लिए बहुत कुछ है।
00:18:44लाइट रैग के साथ दूसरी चीज़ यह विचार है कि,
00:18:46"अरे, अगर मैं दस्तावेज़ अपलोड करना चाहता हूँ,"
00:18:48हमने इसके बारे में थोड़ी देर पहले बात की थी।
00:18:49हम क्या करें अगर हमारे पास फिर से टेबल, ग्राफ़,
00:18:53या ऐसी चीजें हों जो टेक्स्ट नहीं हैं?
00:18:54क्या लाइट रैग इसे संभाल सकता है?
00:18:57बिल्कुल नहीं, लेकिन हम इसे ठीक कर सकते हैं।
00:18:59और इसका जवाब है "रैग एनीथिंग" (rag anything)
00:19:02जिसे लाइट रैग बनाने वालों ने ही बनाया है।
00:19:04और यह ऐसी चीज़ है जो अनिवार्य रूप से मल्टीमॉडल हो सकती है।
00:19:07और यह कुछ ऐसा है जिसे हम काफी हद तक
00:19:09लाइट रैग के ऊपर ही प्लग कर सकते हैं।
00:19:10अब, मैं आपको निराश नहीं करना चाहता,
00:19:13लेकिन वह आज के लिए,
00:19:15आज के वीडियो के दायरे से बाहर होगा।
00:19:17हालाँकि, कल का वीडियो,
00:19:18आपको क्या लगता है कि हम क्या करेंगे?
00:19:19कल, हम रैग एनीथिंग के माध्यम से जाने वाले हैं
00:19:22और अनिवार्य रूप से यह दिखाने वाले हैं कि आप इसे कैसे एकीकृत कर सकते हैं
00:19:25उसमें जो हमने लाइट रैग के साथ बनाया है।
00:19:27तो यह एक तरह का बेहतरीन 'वन-टू पंच' (दोहरा प्रहार) होगा।
00:19:28तो अगर यह कुछ ऐसा है जिसमें आपकी रुचि है,
00:19:31तो लाइक और सब्सक्राइब करें,
00:19:32क्योंकि हम इसके बारे में कल विस्तार से बात करेंगे।
00:19:34और उसी नोट पर,
00:19:35यहीं पर हम इसे समाप्त करने जा रहे हैं।
00:19:39आशा है कि आपको यह पसंद आया होगा।
00:19:41इस नए कैमरा सेटअप के साथ यह मेरा पहला वीडियो भी है।
00:19:43लाइटिंग, मैं पहले ही बता सकता हूँ कि वैसी नहीं है,
00:19:46बिल्कुल वैसी नहीं जैसी मैं चाहता था।
00:19:48तो उस सबके लिए माफी चाहता हूँ।
00:19:49अभी भी कमियों को दूर कर रहा हूँ,
00:19:50बस खुशी है कि यह काम कर रहा था
00:19:52और इस सब के बीच कैमरा ओवरहीट (ज़्यादा गर्म) नहीं हुआ।
00:19:55लेकिन हाँ, सारी स्किल्स फ्री स्कूल के अंदर हैं।
00:19:58रैग की चीजें बहुत दिलचस्प हैं, खासकर लाइट रैग।
00:20:01यह एक बेहतरीन उत्पाद रहा है।
00:20:02मैं इसे काफी समय से इस्तेमाल कर रहा हूँ।
00:20:03तो इसे 100%, बिल्कुल 100% चेक करें।
00:20:06और इसे एकीकृत करना बहुत आसान है
00:20:07क्लॉड कोड के अंदर जैसा कि आपने देखा।
00:20:08तो स्किल्स के लिए फ्री स्कूल को देखें,
00:20:12और यदि आपको ज़रूरत हो तो प्रॉम्प्ट को भी।
00:20:14पूरी ईमानदारी से कहूँ तो,
00:20:15यदि आप क्लॉड कोड को बस लाइट रैग की तरफ इंगित करते हैं,
00:20:16तो यह अपने आप ही इसे ठीक से सेट अप कर देगा।
00:20:19लेकिन इसके अलावा,
00:20:20चेस एआई प्लस (Chase AI Plus) को चेक करना न भूलें
00:20:21यदि आप उस मास्टरक्लास को प्राप्त करना चाहते हैं।
00:20:24और मैं आपसे फिर मिलूँगा।