Claude Code + LightRAG = बेजोड़

Highlights

• 500 से 2000 पृष्ठों वाले बड़े दस्तावेज़ संग्रहों के लिए RAG का उपयोग करना मानक एजेंटिक खोज की तुलना में 1250 गुना तक सस्ता हो सकता है।

• LightRAG एक ओपन-सोर्स ग्राफ RAG सिस्टम है जो माइक्रोसॉफ्ट जैसे महंगे विकल्पों की तुलना में बहुत कम लागत पर नॉलेज ग्राफ और वेक्टर डेटाबेस दोनों बनाता है।

• ग्राफ RAG सिस्टम केवल कीवर्ड मैचिंग के बजाय 'एंटीटी' और उनके बीच के 'संबंधों' को मैप करता है, जिससे जटिल और गहरे प्रश्नों के सटीक उत्तर मिलते हैं।

• Claude Code को LightRAG के API एंडपॉइंट्स से जोड़कर बिना वेब UI के सीधे टर्मिनल से दस्तावेज़ अपलोड और क्वेरी करना संभव है।

• OpenAI का 'text-embedding-3-large' मॉडल और Docker Desktop का उपयोग करके एक प्रभावी हाइब्रिड RAG सिस्टम स्थानीय स्तर पर सेटअप किया जा सकता है।

Timeline

1. 00:00 - 01:42

   आधुनिक AI के लिए RAG की प्रासंगिकता

   Opus 4.6 जैसे आधुनिक मॉडल्स की क्षमता बढ़ने के बाद भी, दस्तावेज़ों के विशाल संग्रह के साथ काम करते समय केवल प्रॉम्प्टिंग पर्याप्त नहीं होती। बड़े उद्यमों और छोटे व्यवसायों के लिए एक व्यवस्थित RAG सिस्टम डेटा को प्रोसेस करने का सबसे कुशल तरीका है।

   • बड़े कॉन्टेक्स्ट विंडो वाले मॉडल्स के बावजूद 500 से अधिक दस्तावेज़ों के प्रबंधन के लिए RAG एक अनिवार्य और किफायती समाधान है।
   • एजेंटिक खोज (grep) की तुलना में बड़े पैमाने पर RAG का उपयोग करना अधिक तेज़ और सस्ता परिणाम देता है।
2. 01:43 - 05:45

   नेइव RAG बनाम ग्राफ RAG की कार्यप्रणाली

   [Image of Retrieval-Augmented Generation process] दस्तावेज़ों को एम्बेडिंग मॉडल के माध्यम से गुज़ारकर उन्हें संख्याओं की एक श्रृंखला (वेक्टर) में बदला जाता है। जब कोई प्रश्न पूछा जाता है, तो सिस्टम उन वेक्टर्स की तुलना करता है और सबसे प्रासंगिक जानकारी को उत्तर तैयार करने के लिए पुनः प्राप्त करता है।

   • पारंपरिक 'नेइव RAG' केवल दस्तावेज़ों को टुकड़ों में बाँटकर उन्हें वेक्टर डेटाबेस में बिंदुओं के रूप में संग्रहीत करता है।
   • कोसाइन सिमिलैरिटी (cosine similarity) तकनीक का उपयोग करके यूजर के सवाल के सबसे करीबी वेक्टर चंक्स को खोजा और निकाला जाता है।
3. 05:46 - 08:34

   नॉलेज ग्राफ और लाइट RAG की शक्ति

   एक ही दस्तावेज़ में मौजूद 'एंथ्रोपिक ने क्लाउड कोड बनाया' जैसे वाक्यों को ग्राफ में मैप किया जाता है। इससे जब यूजर किसी एक विषय पर सवाल पूछता है, तो सिस्टम उससे जुड़े सभी अन्य संबंधित संबंधों को भी स्कैन कर लेता है।

   • ग्राफ RAG सिस्टम डेटा के बीच 'एंटीटी' (जैसे एंथ्रोपिक) और 'एज' (उनके बीच के संबंध) को परिभाषित करने वाला नॉलेज ग्राफ बनाता है।
   • यह संरचना अलग-अलग दस्तावेज़ों में बिखरी हुई जानकारी को आपस में जोड़कर गहरे और अधिक तार्किक निष्कर्ष निकालने की अनुमति देती है।
4. 08:35 - 16:13

   Claude Code के साथ LightRAG सेटअप

   Docker Desktop का उपयोग कंटेनर चलाने के लिए किया जाता है, जबकि OpenAI का एम्बेडिंग मॉडल डेटा को प्रोसेस करता है। Claude Code को निर्देश देकर सीधे रिपॉजिटरी क्लोन करना और .env फ़ाइल कॉन्फ़िगर करना संभव है, जिससे मैन्युअल मेहनत कम हो जाती है।

   • LightRAG को Docker और OpenAI API की (key) के साथ स्थानीय स्तर पर या क्लाउड पर आसानी से होस्ट किया जा सकता है।
   • क्वेरी, अपलोड, एक्सप्लोर और स्टेटस जैसे चार मुख्य API स्किल्स का उपयोग करके Claude Code के भीतर से ही पूरे सिस्टम को नियंत्रित किया जा सकता है।
5. 16:14 - 20:25

   लागत विश्लेषण और भविष्य की क्षमताएं

   जुलाई 2024 के डेटा के अनुसार, टेक्स्चुअल RAG का उपयोग रिपॉन्स टाइम और लागत दोनों में भारी बचत प्रदान करता है। हालाँकि मॉडल अपडेट हुए हैं, फिर भी बड़े पैमाने के डेटा के लिए यह अंतर महत्वपूर्ण बना हुआ है।

   • लाखों टोकन वाले डेटासेट के लिए RAG का उपयोग करना सीधे LLM खोज की तुलना में लगभग 1250 गुना सस्ता है।
   • मल्टीमॉडल डेटा जैसे इमेज और टेबल को संभालने के लिए 'RAG Anything' को LightRAG के ऊपर जोड़ा जा सकता है।