मैंने अपने पूरे लोकल LLM स्टैक को इससे बदल दिया (AnythingLLM)

BBetter Stack
Computing/SoftwareSmall Business/StartupsInternet Technology

Transcript

00:00:00यह गूगल के नोटबुक एलएम (Notebook LM) का विकल्प है, एनीथिंग एलएलएम (Anything LLM)
00:00:04यह एक ओपन-सोर्स और सेल्फ-होस्टेड एआई वर्कस्पेस है जो आपको अपने कोड बेस, दस्तावेजों और आंतरिक डेटा के साथ चैट करने की सुविधा देता है
00:00:10साथ ही, यह पूरी तरह से निजी है और अधिकांश लोकल एलएलएम सेटअप के विपरीत है
00:00:14आपको इसे इस्तेमाल करने योग्य बनाने के लिए लामा, लैंग चेन, एक वेक्टर डेटाबेस और किसी सस्ते यूआई को आपस में जोड़ने की ज़रूरत नहीं है
00:00:22अगले कुछ मिनटों में मैं आपको दिखाऊंगा कि यह कैसे उस पूरे स्टैक की जगह ले लेता है और क्या वाकई इस पर स्विच करना फायदेमंद है
00:00:30तो
00:00:32असल समस्या यह है कि लोकल मॉडल्स अब आसान हो गए हैं, लेकिन उनका वर्कफ्लो हमेशा इतना आसान नहीं होता
00:00:38आपका लामा एक टर्मिनल में चल रहा होता है, लैंग चेन स्क्रिप्ट दूसरे में, वेक्टर डेटाबेस कहीं और, और एक यूआई जिसे आपने बस अस्थायी रूप से जोड़ दिया होता है
00:00:47हाँ, यह काम तो करता है
00:00:49लेकिन हमें यहाँ सावधान रहना होगा; एनीथिंग एलएलएम इन सबको एक वर्कस्पेस में समेट देता है, जहाँ आपको ड्रैग-एंड-ड्रॉप रैग (RAG) और एक विजुअल
00:00:56नो-कोड एजेंट बिल्डर, एम्बेड विजेट के साथ एक पूरा डेवलपर एपीआई मिलता है, और आप ओलामा, एलएम स्टूडियो, ग्रोक जैसे अपने खुद के प्रोवाइडर्स ला सकते हैं
00:01:04एक्सएआई (XAI), जिससे कम पुर्जे होते हैं और काम तेज़ी से होता है। अगर आपको डेव वर्कफ्लो को तेज़ करने वाले ऐसे टूल पसंद हैं
00:01:11तो 'बेटर स्टैक' चैनल को सब्सक्राइब ज़रूर करें। अब, मैं आपको इसे चलाकर दिखाता हूँ
00:01:16मैं बस यहाँ डेस्कटॉप ऐप इंस्टॉल करूँगा
00:01:18फिर मैं अपने लोकल लामा इंस्टेंस और लांस डीबी (Lance DB) को डिफॉल्ट वेक्टर डेटाबेस के रूप में कनेक्ट कर सकता हूँ
00:01:24तो यहाँ अलग से कुछ भी कॉन्फ़िगर करने की ज़रूरत नहीं है
00:01:27अब मैं बस एक पायथन रेपो और डॉक्यूमेंटेशन वाली एक पीडीएफ को यहाँ ड्रैग करूँगा
00:01:31एनीथिंग एलएलएम इन सबको मेरे लिए ऑटोमैटिक रूप से चंक, एम्बेड और इंडेक्स कर देगा
00:01:36अब मैं पूछ सकता हूँ कि “इस फास्ट एपीआई एंडपॉइंट को समझाओ और सही फाइल का हवाला दो” और यह असली फाइल पाथ के साथ सटीक जवाब देता है
00:01:43इन सबके कारण अब एआई के गलत जानकारी (hallucinations) देने की संभावना कम हो जाती है
00:01:47मैं रोज़ाना टॉप हैकर न्यूज़ पोस्ट को समराइज़ करने के लिए एक क्विक एजेंट बनाऊँगा। मैं वेब सर्च टूल एम्बेड करता हूँ और बस हो गया
00:01:54एक क्लिक में काम खत्म, इसमें डॉकर कंपोज़ जैसी कोई पेचीदा चीज़ें जोड़ने की ज़रूरत नहीं है
00:01:58यहीं से यह उत्पादकता की एक ऊपरी परत जैसा महसूस होने लगता है
00:02:02वर्कस्पेस अलग-थलग प्रोजेक्ट्स होते हैं, जिसका मतलब है कि क्लाइंट का काम आपके साइड प्रोजेक्ट से अलग रहता है
00:02:09जो बदले में आपके इंटरनल विकी से अलग रहता है। इसमें एक पूरा रेस्ट (REST) एपीआई है ताकि आप प्राइवेट रैग को अपने
00:02:16सास (SaaS) इंटरनल डैशबोर्ड और यहाँ तक कि वीएस कोड एक्सटेंशन में भी एम्बेड कर सकें
00:02:20यह बेहतरीन है क्योंकि एनीथिंग के साथ आप किसी एक इंटरफेस में बंधे नहीं हैं
00:02:24विजुअल एजेंट बिल्डर आपको एसक्यूएल क्वेरी, सर्प (SERP) एपीआई के ज़रिए वेब सर्च, फाइल ऑपरेशन्स और यहाँ तक कि
00:02:32एमसीपी (MCP) सर्वर जैसे टूल्स को जोड़ने की सुविधा देता है। और अगर आपको ज़्यादा कंट्रोल चाहिए, तो हाँ
00:02:34आप अभी भी एक एजेंट के अंदर लैंग चेन का उपयोग कर सकते हैं। लांस डीबी डिफॉल्ट वेक्टर स्टोर है
00:02:40लेकिन आप एक क्लिक में पीजी वेक्टर या क्वाड्रेंट (Qdrant) पर स्विच कर सकते हैं
00:02:43इसमें एक ड्रॉप-इन चैट विजेट भी है जिसे आप अपने प्रोडक्ट में एम्बेड कर सकते हैं और आप मॉडल प्रोवाइडर्स बदल सकते हैं
00:02:50बिना रीस्टार्ट किए या बिना री-इंडेक्स किए बातचीत जारी रख सकते हैं। तो यह उन अन्य टूल्स से कैसे अलग है
00:02:55जिन्हें हम पहले से इस्तेमाल कर रहे हैं? जैसे नोटबुक एलएम या ओपन वेब यूआई। वह वाला तब अच्छा है
00:03:00अगर आप मुख्य रूप से प्लगइन्स के साथ लामा चैट इंटरफेस चाहते हैं
00:03:03लेकिन एनीथिंग एलएलएम मज़बूत इन-बिल्ट रैग एजेंट वर्कस्पेस और एक डेस्कटॉप ऐप जोड़ता है
00:03:08आपके पास प्राइवेट जीपीटी (Private GPT) है जो साधारण दस्तावेज़ क्यूएंडए (Q&A) के लिए अच्छा काम करता है
00:03:12लेकिन एनीथिंग एलएलएम उसके ऊपर एजेंट्स और एक पूरा एपीआई भी जोड़ता है
00:03:16डिफ़ी (Dify) नाम का एक टूल है जिसके बारे में मैंने दूसरे वीडियो में बात की थी। डिफ़ी और लैंग फ्लो तब शक्तिशाली हैं अगर आपको भारी विजुअल वर्कफ़्लो पसंद हैं
00:03:23लेकिन वे कुल मिलाकर काफी भारी (heavy) हैं। एनीथिंग एलएलएम के साथ
00:03:26यह दस्तावेज़-भारी रैग उपयोग के मामलों के लिए हल्का है। लैंग चेन हमें अधिक लचीलापन देता है, लेकिन आप सब कुछ खुद बना रहे होते हैं
00:03:33अब बात करते हैं कि डेवलपर्स वास्तव में क्या पसंद करते हैं और क्या नहीं, एक्स (X), रेडिट और अन्य स्रोतों के आधार पर
00:03:40लोग लगातार इसके एपीआई की प्रशंसा करते हैं क्योंकि यह प्राइवेट रैग को वास्तविक अनुप्रयोगों में एम्बेड करना बहुत आसान बनाता है
00:03:46डेस्कटॉप वर्शन ऑनबोर्डिंग को दूसरों की तुलना में सरल बनाता है; यदि आपकी कोई टीम है, तो एक नया सदस्य इसे इंस्टॉल और कनेक्ट करके
00:03:54इसे बहुत जल्दी शुरू कर सकता है
00:03:55साथ ही, चैट के बीच में संदर्भ (context) खोए बिना मॉडल बदलने की क्षमता बहुत बड़ी बात है। और क्योंकि यह ओपन सोर्स है, हम
00:04:01इसे खुद होस्ट कर सकते हैं, जिसका मतलब है कि आप अपने डेटा के बाहर जाने की चिंता किए बिना क्लाइंट्स या दूसरों को डेमो दे सकते हैं। अब कमियों की बात करें तो
00:04:09रैग को कभी-कभी परफेक्ट रिकॉल के लिए डॉक्यूमेंट पिनिंग की ज़रूरत होती है। बड़े कलेक्शन, जैसे मैं 500 या उससे अधिक दस्तावेज़ों की बात कर रहा हूँ
00:04:16वे छोटे लैपटॉप पर काफी रैम (RAM) खर्च करेंगे। एजेंट फ्लो अभी भी कुछ खास स्थितियों में बीटा जैसा महसूस हो सकता है
00:04:22तो यह एकदम परफेक्ट नहीं होने वाला है। लेकिन अधिकांश वास्तविक दुनिया के वर्कफ्लो के लिए, यह अभी हमारे पास मौजूद सबसे कम परेशानी वाले विकल्पों में से एक है
00:04:28खासकर एक ओपन सोर्स होने के नाते। तो क्या यह इसके लायक है? मेरा मतलब है, अगर आप इंटरनल टूल्स या क्लाइंट-फेसिंग प्राइवेट एआई सिस्टम बना रहे हैं
00:04:37तो हाँ, बिल्कुल, या यदि आप बिना सब कुछ खुद लिखे प्रोडक्शन-ग्रेड रैग बेस चाहते हैं
00:04:41तो यह शानदार रहेगा। यदि आपको ऐसे एजेंट चाहिए जो वास्तव में काम के हों, तो यह एक बड़ा बोनस है
00:04:46हम सब कुछ खुद से नहीं जोड़ रहे हैं
00:04:47लेकिन अगर आपको हर एक चीज़ के लिए अल्ट्रा फाइन-ट्यूनिंग की ज़रूरत है या आप रॉ लैंग चेन के साथ सब कुछ शुरू से बनाना पसंद करते हैं
00:04:55तो यह भी ठीक है
00:04:56मैं समझता हूँ
00:04:57लेकिन अगर आप बहुत लो-एंड हार्डवेयर पर काम कर रहे हैं और आपको कुछ बहुत ही हल्का चाहिए, तो फिर से
00:05:03यह आपके लिए नहीं होगा। डेस्कटॉप डाउनलोड और रेपो का लिंक मैंने नीचे दिया है
00:05:07अगर आप अपने वर्कफ्लो को तेज़ करने और बदलने वाले इस तरह के टूल्स का आनंद लेते हैं, तो 'बेटर स्टैक' चैनल को सब्सक्राइब ज़रूर करें
00:05:13हम आपसे दूसरे वीडियो में मिलेंगे

Key Takeaway

एनीथिंग एलएलएम एक व्यापक, निजी और उपयोग में आसान एआई वर्कस्पेस है जो जटिल लोकल एलएलएम सेटअप को एक सरल नो-कोड इंटरफेस और शक्तिशाली डेवलपर टूल्स के साथ बदल देता है।

Highlights

एनीथिंग एलएलएम (AnythingLLM) एक ओपन-सोर्स और सेल्फ-होस्टेड एआई वर्कस्पेस है जो निजी डेटा के साथ सुरक्षित चैट की सुविधा देता है।

यह जटिल लोकल स्टैक (जैसे लामा, लैंग चेन और वेक्टर डेटाबेस को अलग से जोड़ना) की आवश्यकता को समाप्त कर देता है।

इसमें ड्रैग-एंड-ड्रॉप रैग (RAG), विजुअल नो-कोड एजेंट बिल्डर और एम्बेड करने योग्य चैट विजेट जैसे शक्तिशाली फीचर्स शामिल हैं।

उपयोगकर्ता बिना संदर्भ खोए या री-इंडेक्स किए बातचीत के बीच में ही अलग-अलग मॉडल प्रोवाइडर्स को बदल सकते हैं।

यह डेस्कटॉप एप्लिकेशन के रूप में उपलब्ध है, जो ऑनबोर्डिंग को सरल बनाता है और टीम के लिए इसे तुरंत शुरू करना आसान बनाता है।

यह रेस्ट (REST) एपीआई के माध्यम से इंटरनल डैशबोर्ड और वीएस कोड एक्सटेंशन के साथ एकीकरण का समर्थन करता है।

Timeline

एनीथिंग एलएलएम का परिचय और मुख्य लाभ

इस शुरुआती खंड में वक्ता गूगल के नोटबुक एलएम के विकल्प के रूप में एनीथिंग एलएलएम को पेश करते हैं। यह एक ओपन-सोर्स और सेल्फ-सोर्स वर्कस्पेस है जो उपयोगकर्ताओं को उनके स्वयं के कोड बेस और दस्तावेजों के साथ निजी तौर पर चैट करने की अनुमति देता है। वक्ता बताते हैं कि यह टूल पारंपरिक लोकल एलएलएम सेटअप की जटिलता को दूर करता है जहाँ विभिन्न घटकों को मैन्युअल रूप से जोड़ना पड़ता था। मुख्य आकर्षण यह है कि यह पूरे एआई स्टैक को एक ही प्लेटफॉर्म में समेट देता है। यह उन लोगों के लिए महत्वपूर्ण है जो डेटा गोपनीयता और सरलता को प्राथमिकता देते हैं।

वर्कफ़्लो की समस्या और एनीथिंग एलएलएम का समाधान

वक्ता लोकल मॉडल चलाने में आने वाली वास्तविक समस्याओं पर चर्चा करते हैं, जैसे अलग-अलग टर्मिनल में अलग-अलग स्क्रिप्ट चलाना। एनीथिंग एलएलएम इन सभी बिखरे हुए हिस्सों को एक एकीकृत वर्कस्पेस में लाता है जिसमें ड्रैग-एंड-ड्रॉप रैग (RAG) की सुविधा है। इसमें एक विजुअल नो-कोड एजेंट बिल्डर और डेवलपर एपीआई भी शामिल है जो काम को काफी आसान बना देता है। उपयोगकर्ता ओलामा, एलएम स्टूडियो और ग्रोक जैसे अपने पसंदीदा प्रोवाइडर्स को सीधे जोड़ सकते हैं। यह खंड दिखाता है कि कैसे कम पुर्जों के साथ डेवलपमेंट वर्कफ्लो को तेज़ किया जा सकता है।

इंस्टॉलेशन, सेटअप और व्यावहारिक प्रदर्शन

यहाँ वक्ता डेस्कटॉप ऐप इंस्टॉल करने और लोकल लामा इंस्टेंस को कनेक्ट करने की प्रक्रिया दिखाते हैं। वे लांस डीबी को डिफॉल्ट वेक्टर डेटाबेस के रूप में उपयोग करते हैं और दिखाते हैं कि सेटअप में कोई जटिल कॉन्फ़िगरेशन नहीं है। प्रदर्शन के दौरान एक पायथन रेपो और पीडीएफ को ड्रैग किया जाता है जिसे टूल स्वचालित रूप से चंक और इंडेक्स कर देता है। वक्ता एक प्रश्न पूछते हैं और दिखाते हैं कि एआई सही फाइल पाथ के साथ सटीक जवाब देता है। यह उदाहरण साबित करता है कि यह सिस्टम भ्रम (hallucinations) को कम करने और उत्पादकता बढ़ाने में कितना प्रभावी है।

प्रोजेक्ट प्रबंधन और उन्नत एकीकरण सुविधाएँ

इस भाग में वर्कस्पेस की अवधारणा को समझाया गया है जो विभिन्न क्लाइंट प्रोजेक्ट्स या इंटरनल विकी को अलग रखने में मदद करता है। एनीथिंग एलएलएम में एक पूर्ण रेस्ट (REST) एपीआई है जो प्राइवेट रैग को किसी भी सास (SaaS) डैशबोर्ड में एम्बेड करने की अनुमति देता है। विजुअल एजेंट बिल्डर के माध्यम से एसक्यूएल क्वेरी और वेब सर्च जैसे टूल्स को जोड़ना बहुत सरल है। उपयोगकर्ता एक क्लिक में वेक्टर स्टोर बदल सकते हैं और बिना रीस्टार्ट किए मॉडल स्विच कर सकते हैं। यह लचीलापन इसे अन्य प्रतिस्पर्धी टूल्स की तुलना में बहुत अधिक बहुमुखी बनाता है।

अन्य टूल्स के साथ तुलना और डेवलपर्स की राय

वक्ता एनीथिंग एलएलएम की तुलना नोटबुक एलएम, ओपन वेब यूआई और डिफ़ी (Dify) जैसे अन्य लोकप्रिय टूल्स से करते हैं। जबकि अन्य टूल्स विजुअल वर्कफ़्लो या साधारण चैट के लिए अच्छे हैं, एनीथिंग एलएलएम हल्का है और दस्तावेज़-भारी रैग कार्यों के लिए श्रेष्ठ है। डेवलपर समुदाय इसके एपीआई और आसान ऑनबोर्डिंग की विशेष रूप से सराहना करता है। चैट के दौरान संदर्भ खोए बिना मॉडल बदलने की क्षमता को एक बड़ी जीत माना जाता है। साथ ही, ओपन-सोर्स होने के नाते इसे खुद होस्ट करना सुरक्षित डेमो देने के लिए आदर्श है।

सीमाएँ, कमियाँ और अंतिम निर्णय

अंतिम खंड में कुछ व्यावहारिक सीमाओं पर चर्चा की गई है, जैसे बहुत बड़े दस्तावेज़ संग्रहों के लिए अधिक रैम की आवश्यकता। एजेंट फ्लो अभी भी कुछ हद तक बीटा चरण में महसूस हो सकता है और यह बहुत कम-एंड हार्डवेयर के लिए उपयुक्त नहीं है। हालाँकि, अधिकांश वास्तविक दुनिया के उपयोग के मामलों के लिए इसे सबसे कम परेशानी वाला विकल्प बताया गया है। यदि आप इंटरनल टूल्स या क्लाइंट-फेसिंग एआई सिस्टम बना रहे हैं, तो यह एक बेहतरीन निवेश है। वक्ता उन लोगों के लिए भी सुझाव देते हैं जिन्हें अल्ट्रा फाइन-ट्यूनिंग की ज़रूरत है, उनके लिए कच्चा लैंग चेन अभी भी बेहतर हो सकता है।

Community Posts

View all posts