RAG प्रदर्शन निर्धारित करने वाली 3 अनुकूलन रणनीतियाँ: चंकिंग, वेक्टर DB, और प्रॉम्प्ट ट्यूनिंग
makedream٢٥ يناير ٢٠٢٦
0
Computing/Software
Comments (0)
Log in to leave a comment
No posts yet
makedreamLog in to leave a comment
No posts yet
कार्यक्षेत्र में तैनात कई बड़े भाषा मॉडल (LLM) व्यावसायिक मूल्य साबित करने में विफल हो जाते हैं, और इसकी स्पष्ट वजह है: मतिभ्रम (Hallucination)। कोई भी RAG (रिट्रीवल ऑगमेंटेड जनरेशन) सिस्टम बना सकता है, लेकिन उद्यमों द्वारा आवश्यक 95% से अधिक उत्तर सटीकता प्राप्त करना एक पूरी तरह से अलग स्तर की चुनौती है।
यदि डेटा प्रचुर मात्रा में होने के बावजूद AI गलत उत्तर देता है, तो यह मॉडल की बुद्धिमत्ता की समस्या नहीं है। यह इस बात का संकेत है कि सिस्टम की नींव, यानी डेटा पाइपलाइन, कमजोर है। स्टार वॉर्स परिदृश्य जैसे विशाल टेक्स्ट डेटा का उदाहरण लेते हुए, हम विशिष्ट ज्ञान पर सख्ती से आधारित उच्च-प्रदर्शन वाले RAG के निर्माण के रहस्यों को साझा कर रहे हैं।
डेटा को यांत्रिक रूप से काटना RAG के दिल की धड़कन रोक देता है। यदि टेक्स्ट को बहुत बड़े टुकड़ों में विभाजित किया जाता है, तो अनावश्यक शोर (noise) मिल जाता है, और यदि इसे बहुत छोटा कर दिया जाता है, तो मुख्य संदर्भ खो जाता है।
केवल वर्णों (characters) की संख्या के आधार पर काटने की पद्धति को छोड़ देना चाहिए। संदर्भ की सीमाओं को सुरक्षित रखने वाला रिकर्सिव विभाजन ही सही समाधान है। विशेष रूप से परिदृश्य (scenario) डेटा के मामले में, इनडोर (INT.) और आउटडोर (EXT.) जैसे दृश्य परिवर्तन विभाजकों को उच्चतम मानक के रूप में सेट किया जाना चाहिए। केवल एक तार्किक इकाई, जिसे 'सिनेमैटिक यूनिट' कहा जाता है, को सुरक्षित रखने से ही खोज की गुणवत्ता में नाटकीय रूप से सुधार होता है।
LLM संदर्भ के शुरुआती और अंतिम हिस्सों को अच्छी तरह याद रखते हैं, लेकिन बीच की जानकारी को भूल जाते हैं। इससे बचने के लिए रणनीतिक डिजाइन की आवश्यकता है।
| चंकिंग विधि | विशेषताएँ | सटीकता में सुधार दर |
|---|---|---|
| फिक्स्ड लेंथ स्प्लिटिंग | सरल लंबाई सीमा | आधारभूत |
| रिकर्सिव स्प्लिटिंग | संदर्भ सीमा की पहचान | 15% वृद्धि |
| सीन-आधारित स्प्लिटिंग | तार्किक इकाई का संरक्षण | 20% वृद्धि |
वेक्टर डेटाबेस एक ऐसा स्टोरहाउस है जो टेक्स्ट के अर्थ को गणितीय निर्देशांकों (coordinates) में बदलकर सहेजता है। 2026 में, प्रदर्शन और स्केलेबिलिटी के मामले में Qdrant सबसे उचित विकल्प है।
Docker का उपयोग करके स्थानीय स्तर पर Qdrant चलाने से सुरक्षा और गति दोनों सुनिश्चित होती है। होस्ट डायरेक्टरी को माउंट करके डेटा को स्थायी रूप से स्टोर करने वाला स्ट्रक्चर बनाएँ। हर बार सिस्टम को पुनरारंभ करते समय महंगे एम्बेडिंग गणनाओं को दोहराने की बर्बादी से बचना चाहिए।
यदि एम्बेडिंग मॉडल के रूप में text-embedding-3-small का उपयोग किया जाता है, तो 1,536-आयामी (dimensional) वेक्टर उत्पन्न होते हैं। इस स्थिति में, खोज मेट्रिक के रूप में 'कोसाइन समानता' (cosine similarity) सेट करना सबसे सटीक रहता है। साथ ही, फ़ाइल हैश वैल्यू को ID के रूप में उपयोग करने वाला अपसर्ट (upsert) लॉजिक लागू करें ताकि समान डेटा दोबारा जमा न हो, जो खोज दक्षता को कम कर सकता है।
अंतिम चरण मॉडल तक खोजी गई जानकारी पहुँचाने के मार्ग को डिजाइन करना है। LangChain Expression Language (LCEL) का उपयोग करके आप जटिल पाइपलाइनों को पारदर्शी रूप से नियंत्रित कर सकते हैं।
AI की रचनात्मकता RAG सिस्टम के लिए जहर साबित हो सकती है। इन दो सेटिंग्स को तुरंत लागू करें:
बाहरी डेटा का संदर्भ लेने वाले RAG अप्रत्यक्ष इंजेक्शन हमलों के प्रति संवेदनशील होते हैं। यह सुनिश्चित करने के लिए कि दस्तावेज़ के भीतर छिपे दुर्भावनापूर्ण कमांड निष्पादित न हों, सिस्टम प्रॉम्प्ट और संदर्भ क्षेत्र को संरचनात्मक रूप से अलग करें। एक ऐसा RAG जिसे इस आधार पर नहीं मापा गया है कि उत्तर मूल दस्तावेज़ के प्रति कितना वफादार है, व्यावहारिक उपयोग के लिए तैयार नहीं है।
एक सफल RAG सिस्टम नवीनतम मॉडल के उपयोग से अधिक, डेटा की संरचना को गहराई से समझने की अंतर्दृष्टि से निर्धारित होता है। रिकर्सिव चंकिंग के साथ डेटा के अर्थ को जीवित रखें, Qdrant के साथ एक स्थिर स्टोरेज सुनिश्चित करें, और सख्त प्रॉम्प्ट नियंत्रण के साथ सोचने के दायरे को सीमित करें। जब ये तीन स्तंभ सामंजस्य में होते हैं, तभी एक ऐसा इंटेलिजेंट असिस्टेंट तैयार होता है जिस पर उद्यम भरोसा कर सकें। आज ही अपने सिस्टम की चंकिंग यूनिट को 'सिनेमैटिक यूनिट' में बदलकर देखें। आप खोज की सटीकता में अंतर तुरंत महसूस करेंगे।