आपके एजेंट्स में संदर्भ की कमी है: "आप बिल्कुल सही हैं!" को ऐसे ठीक करें — ब्रैंडन वासेलनुक, अनब्लॉक्ड

AAI Engineer
컴퓨터/소프트웨어AI/미래기술

스크립트

00:00:00नमस्कार। मुझे उम्मीद है कि एआईई (AIE) में आप सबका दिन बहुत अच्छा गुजर रहा होगा। यहाँ मौसम बहुत अच्छा रहा है,
00:00:17हालाँकि यूवी (UV) इंडेक्स लगभग नौ था, इसलिए उम्मीद है कि आपने सनस्क्रीन लगा ली होगी
00:00:20और आप समझदार वयस्कों की तरह पेश आ रहे होंगे। मैं यहाँ आपसे संदर्भ
00:00:24इंजीनियरिंग (context engineering) के बारे में बात करने आया हूँ और मुझे लिंक्डइन से एजे के बाद बोलने का
00:00:27सौभाग्य मिला है क्योंकि उन्होंने उस सिस्टम के बारे में काफी बात की जिसे हम वास्तव में
00:00:29डिज़ाइन करते हैं और अन्य समाधानों को बेचते हैं, और मैं आपको ढेर सारे ओपन-सोर्स टूल देने जा रहा हूँ,
00:00:33इसलिए यदि आपने मुझसे ठीक पहले वाली वह आखिरी बातचीत देखी है, तो आपको कई सारे टूल चेन मिलेंगे
00:00:36जिनके साथ आप खुद प्रयोग कर सकते हैं और आज मैं आपको कई तकनीकें सिखाऊँगा। इसका उद्देश्य
00:00:39बेशक यह ठीक करना है कि आप बिल्कुल सही कह रहे हैं। मुझे लगता है कि उन्होंने अब इसे
00:00:44प्रॉम्प्ट से हटा दिया है ताकि यह सिर्फ यह कहे कि आप सही हैं या अन्य चीजें, लेकिन मुझे यकीन है कि
00:00:47आप सभी वहाँ रह चुके हैं। तो मैं ब्रैंडन हूँ, मैं अनब्लॉक में काम करता हूँ, हाँ मेरे पास एक नारियल है, हम ताजे संदर्भ
00:00:53यानी ताजे नारियल दे रहे हैं, लेकिन जिस चीज़ के बारे में मैं आपसे बात करना चाहता हूँ वह यह है कि इन मॉडल के साथ,
00:00:57विशेष रूप से मिथोकॉ क्लास मॉडल (mytho class models) के साथ, मुझे लगता है
00:01:01कि फ़ेबल 5 आज वापस आ रहा है इसलिए वे कहते हैं कि आप मेरी ग्रेल कॉल रिकॉर्डिंग देख सकते हैं
00:01:05इसे बुक करने का प्रयास करें हम इसे नजरअंदाज कर देंगे। लेकिन मैं चाहता हूँ कि आप इस तथ्य के बारे में सोचें
00:01:11कि इन टूल के साथ, एआई द्वारा जेनरेट किया गया कोड ऐसा महसूस होना चाहिए जैसे इसे
00:01:15किसी ऐसे व्यक्ति ने लिखा है जो वर्षों से आपकी टीम में रहा है। तो वर्षों के उस सही मानसिक दायरे में आने के लिए,
00:01:23आपको इस बात पर विचार करना होगा कि आप ही संदर्भ इंजन (context engine) रहे हैं। आपने ऐसा कैसे किया?
00:01:27आपने काम पर जाकर और सवाल पूछकर, पीआर (PRs) भेजकर और उन्हें अस्वीकार करवाकर,
00:01:34मीटिंग में जाकर संदर्भ बनाया और इन सभी ने धीरे-धीरे समय के साथ उस इंजन को बनाया जो आपका दिमाग है।
00:01:39आप समझते हैं कि यहाँ चीजें कैसे काम करती हैं, आप जानते हैं कि सामान कैसे शिप किया जाता है,
00:01:42आप उस रात ऑन-कॉल थे जब आपने प्रोडक्शन डाउन कर दिया था और ऐसा क्यों हुआ था। समस्या यह है कि
00:01:48इन एजेंट्स के साथ भी बिल्कुल यही समस्या है, हर बार जब आप इसमें किसी एजेंट के साथ एक नया टर्मिनल सत्र बनाते हैं,
00:01:53यह बहुत बुद्धिमान होता है लेकिन इसके पास इस बात का कोई संदर्भ नहीं होता है कि आपकी कंपनी कैसे काम करती है,
00:01:57इसलिए इसे किसी तरह से वह प्राप्त करने की आवश्यकता होती है। समस्या यह है कि जैसे-जैसे आप इन एजेंट्स को बड़े पैमाने पर ले जाते हैं,
00:02:02यदि आप शुरुआत में इसे गलत करते हैं तो वह लागत बढ़ती जाती है। संदर्भ और सामग्री से मिलने वाला लाभ।
00:02:07हम बस इसे ठीक करने जा रहे हैं क्योंकि मुझे लगता है कि लोग कुछ तस्वीरें लेना चाहते हैं। बिल्कुल।
00:02:13वह संदर्भ समस्या बढ़ती जाएगी। तो सबसे बाईं ओर हम सभी दो साल पहले के उस पुराने समय को याद करते हैं
00:02:20जहाँ हमारे पास टैब कम्प्लीट मॉडल थे जो काफी कूल थे। हुआ यह कि
00:02:25यह सामने आया और कहा, अरे, क्या आप इसे टैब करना चाहते हैं और जल्दी से अपने दिमाग में अपने
00:02:29संदर्भ के साथ आप कहते हैं नहीं यह बुरा है। या आपने कहा ओह बढ़िया आपने टैब दबा दिया।
00:02:32बढ़िया। जैसे-जैसे हम एजेंटिक अपनाव वक्र (adoption curve) के साथ आगे बढ़ते हैं,
00:02:37होता यह है कि आप ऐसी अधिक स्थितियों में प्रवेश कर रहे हैं जिनमें आपके पास बिना किसी मानव
00:02:41के लूप (human in the loop) के एजेंट चल रहे हैं या कम से कम आप चाहते हैं कि आपको लूप में न रहना पड़े।
00:02:46उन्हें जिस चीज़ की आवश्यकता है वह कोई ऐसा तरीका है जिससे वे कोड लिखने या हल करने
00:02:50या मूल रूप से समस्या को ठीक करने के लिए दीवारों से टकराने पर अपनी ज़रूरत के सवाल पूछ सकें
00:02:54और अंत में ऐसा कोड आउटपुट कर सकें जो आपके कोड बेस में मर्ज करने योग्य हो,
00:02:58विशेष रूप से यहाँ कई लोगों के साथ जो वास्तव में ब्राउनफ़ील्ड कोड बेस में काम करते हैं जो लंबे समय से मौजूद हैं
00:03:02जो उनके माध्यम से वास्तविक राजस्व चलाते हैं, न कि केवल ग्रीनफ़ील्ड मज़ेदार परियोजनाएँ।
00:03:06तो शुरुआत में खराब संदर्भ के बढ़ने की वह लागत सस्ती है यदि आप शिफ्ट लेफ्ट की तरह सोचते हैं
00:03:12किसी दोष या बग का पता लगाना, आप इसे जितनी जल्दी हो सके उतना जल्दी खोजना चाहेंगे।
00:03:17संदर्भ के साथ भी यही बात है क्योंकि जैसे-जैसे आप आगे बढ़ते हैं आप डूम लूप (doom loops) में पड़ जाते हैं
00:03:22आप आमतौर पर अपने एजेंट से कुछ करने के लिए कहते हैं और यह ऐसा होता है जैसे अरे मैंने यह कर दिया
00:03:26और आप कहते हैं नहीं यार और फिर आप सुधार करते हैं और सुधार करते हैं और सुधार करते हैं।
00:03:29यह खोज टोकन की बर्बादी है और यह रीवर्क का समय भी बर्बाद करता है और यह आने वाले
00:03:34टोकनॉमिक्स के साथ स्वीकार्य नहीं है और फिर जैसे ही आप समानांतर एजेंटों आदि में जाते हैं,
00:03:39आप एक समीक्षा कर (review tax) का सामना करना शुरू करते हैं इसलिए इन एआई कोड समीक्षकों को
00:03:43हम उपयोग करने की कोशिश कर रहे थे लेकिन फिर से वहाँ मुख्य संदर्भ महत्वपूर्ण है ताकि वे कोड समीक्षाएँ
00:03:48मूल रूप से यह समझने में सक्षम हों कि व्यवसाय के संचालन कैसे हैं ताकि यह व्यावसायिक तर्क
00:03:52और अधिक को जान सके, और फिर अंत में यदि आपकी उम्मीद लूप से पूरी तरह बाहर निकलने की है,
00:03:57आपकी तरह पृष्ठभूमि एजेंट इसे पूरा करते हैं कोई गलती नहीं करते हैं, आपको वास्तव में यह सुनिश्चित करने की आवश्यकता है
00:04:02कि आपके पास एक संदर्भ इंजन हो ताकि वे एजेंट इसकी क्वेरी कर सकें और वे सभी उत्तर प्राप्त कर सकें
00:04:05जो उन्हें चाहिए ताकि वे प्रभावी तरीके से काम करना जारी रख सकें।
00:04:08कुछ सामान्य दृष्टिकोण हैं जो काम नहीं करते हैं वे मूल रूप से स्थानीय अधिकतम (local maxima) की तरह हैं,
00:04:16हमारे सैकड़ों उद्यम ग्राहकों और मध्यम-आकार के व्यवसायों के साथ हम जिन दो को सबसे अधिक देखते हैं,
00:04:21वे क्यूरेटेड संदर्भ जाल (curated context trap) हैं यदि आपने कभी बैठकर एक वर्चुअल फाइल सिस्टम या शायद एक स्थानीय फाइल सिस्टम लिया है,
00:04:26आप इसमें कुछ मार्कडाउन फाइलें डालते हैं और आप कहते हैं कि इस प्रोजेक्ट का सारा संदर्भ यहाँ है
00:04:30यह कैसे काम करता है, फिर आप अपने एजेंट को इस पर ग्रैप (grep) करने की अनुमति देते हैं और इसे ढेर सारे अच्छे डेटा मिलते हैं और फिर यह बेहतर प्रदर्शन करेगा।
00:04:35समस्या यह है कि पहले अब आपको इसे वितरित करना होगा इसलिए शायद इसे गिटहब में डाल दें और आपकी टीम इसे ले सकती है लेकिन फिर अगली बात यह है कि वह रेपो सड़ने वाली है ठीक वैसे ही जैसे आपके द्वारा लिखे गए अन्य सभी दस्तावेज़ और फिर आपकी संस्था में वह सर्वशक्तिमान कौन है जिसके पास इस फ़ाइल या रेपो को सचमुच संस्था में सभी के लिए क्यूरेट करने का स्वाद है।
00:04:52तो आप इन समस्याओं का सामना करना शुरू करते हैं, अगला एमसीपी पठार (MCP plateau) है यह काफी स्पष्ट है हमारे पास एमसीपी हैं वे महान हैं आप इसे अपने एजेंट को दे सकते हैं और अब यह मूल रूप से दूसरे स्रोत प्रणाली से जानकारी प्राप्त कर सकता है समस्या यह है कि निश्चित रूप से जिस तरह से आप सर्वर विवरण लिखते हैं टूल विवरण आपका एजेंट इसे कभी कॉल नहीं कर सकता है भले ही उसे करना चाहिए था या यदि यह करता है तो खोज की संतुष्टि (satisfaction of search) पूर्वाग्रह नामक एक ज्ञात पूर्वाग्रह है जिसका अर्थ यह है कि एजेंट जब यह पाता है
00:05:22जानकारी का पहला टुकड़ा जिसे वह सही समझता है, वह जाता है ओह मेरे पास वह है जिसकी मुझे आवश्यकता है और यह आगे बढ़ता है और अधिकांश संगठनों में कल रात की एक स्लैक बातचीत होती है जो कहती है कि आपको बी करने के बजाय ए करना चाहिए और एजेंट को यह कभी नहीं मिलेगा यदि इसने पहले कुछ वास्तुकला रिकॉर्ड पाया है इसलिए यह वास्तव में सभी संदर्भों पर विचार नहीं करता है।
00:05:40यहाँ समस्या यह है कि सूचना तक पहुँच समझ नहीं है इसलिए किसी मॉडल तक समझ पहुँचाने के लिए आपको अन्य तकनीकें करनी होंगी जो मैं मूल रूप से कहने की कोशिश कर रहा हूँ वह यह है कि आपका एजेंट जो नहीं देख सकता है वह पानी की रेखा के नीचे सब कुछ है यह 100 प्रतिशत कोड प्राप्त कर सकता है जो संकलित होता है लेकिन वह कोड जो संकलित होता है वह उत्पादन को नीचे ले जा रहा है और आपके पास रात में एक बजे p0 होता है क्योंकि यह इस तथ्य से चूक गया कि आपके पास एक निश्चित रोलआउट प्रक्रिया है जिसे आपको एक फीचर फ्लैग बंद करना है जो भी हो सकता है।
00:06:10इसलिए आपकी टीम को एक संदर्भ इंजन की आवश्यकता है क्योंकि इसे जो करना चाहिए वह यह समझना है कि आप कौन हैं और आप एक संगठन में कहाँ काम करते हैं इसलिए यदि मैं आपसे कहता हूँ कि मैं ऑथ को खड़ा करना चाहता हूँ तो यह जानता है कि मैं कहाँ काम करता हूँ यह जानता है कि मेरी गिट कमिट कहाँ हैं यह जानता है कि उन कमिट की समीक्षा कौन करता है और यह समझता है कि मेरा संदर्भ यह मुझे केंद्रित कर सकता है और फिर बाकी जानकारी खोजने के लिए इसे ट्रिगर पॉइंट के रूप में उपयोग कर सकता है।
00:06:33यह संघर्षों को हल करता है जैसा कि उल्लेख किया गया है एक पुराना वास्तुकला आरेख और सीटीओ के साथ कल रात की स्लैक बातचीत कौन सा सही है आपको यह निर्धारित करने के लिए कई तकनीकों का उपयोग करने की आवश्यकता है।
00:06:44अनुमतियों और शासन का सम्मान करता है निश्चित रूप से एमसीपी हमें ओएथ और अन्य स्कोप और एसएसओ का उपयोग करने की अनुमति देता है लेकिन यदि कोई यहाँ एक सवाल पूछता है जिसे गुप्त प्रोजेक्ट ए के बारे में नहीं पता होना चाहिए तो आपको यह सुनिश्चित करने की आवश्यकता है कि यह प्रतिक्रिया में लीक न हो।
00:06:58और फिर अंत में सही समय पर सही संदर्भ मॉडल को टोकन अनुकूलित तरीके से वितरित करें।
00:07:03हमारे पास कई सतह क्षेत्र हैं क्योंकि मानव इंजीनियर अभी भी स्लैक में या अन्यथा अपनी आवश्यक जानकारी प्राप्त करने के लिए हर समय अनब्लॉक से बात करते हैं।
00:07:09लेकिन तब आप टोकन अनुकूलित प्रतिक्रियाएँ चाहते हैं यदि आप अपने टोकन खर्च पर बहुत सारे बोल्ड क्लास बर्बाद न करने के लिए केवल मशीन से मशीन बात कर रहे हैं।
00:07:17यह इस तरह से एक इंजन काम करता है। मैं इस पर संक्षिप्त रहूँगा लेकिन मूल रूप से बाईं ओर आपको वे सभी डेटा स्रोत दिखाई देते हैं जो आ रहे हैं।
00:07:26हमारे लिए हम इंजीनियरिंग टीमों पर ध्यान केंद्रित करते हैं और वही लोग हमारा उपयोग करते हैं साथ ही इसके आसपास की तकनीकी रूप से हल्की टीमें जैसे समर्थन बिक्री और अन्य।
00:07:34आप उस सभी डेटा को अंतर्ग्रहण करते हैं आपको टूल से वास्तविक समय का डेटा मिलता है जैसे आपकी घटना प्रबंधन टूल चेन।
00:07:39यह इंजन में आता है जहाँ वह इंजन है यह नीचे सोचता है मैं एक पल में उस स्लाइड पर विस्तार से बताऊँगा।
00:07:45लेकिन मूल रूप से यह इन छह प्रमुख विशेषताओं का उपयोग करता है और फिर दाईं ओर आप संदर्भ को ठीक उसी वर्कफ़्लो में आउटपुट करते हैं जिस तरह से इसकी आवश्यकता होती है।
00:07:53वे छह मुख्य बिंदु, जैसा कि उल्लेख किया गया है एकीकृत प्रणाली संदर्भ, आपको पूरी चीज़ में जाना होगा।
00:08:01बड़ी संस्थाओं में, लिंक्डइन पैमाने की कंपनियाँ, वर्कडेटा, जनरल मोटर्स, जो भी हो, उन्हें इस प्रकार के डेटा की आवश्यकता होती है।
00:08:08उन्हें वह सब कुछ समझने की आवश्यकता है जो हो रहा है।
00:08:10और तारिक ने आज सुबह वास्तव में फबल के बारे में बात की थी जो संभावित रूप से आज बाद में सामने आ रहा है।
00:08:15उन्होंने उल्लेख किया कि आपको वास्तव में एक नक्शा प्रदान करने की आवश्यकता है और फिर फबल को क्षेत्र की खोज करने दें।
00:08:21इसे सीमित करने में मदद करने का तरीका यह सुनिश्चित करना है कि इन मॉडलों को सभी संदर्भों तक पहुँच प्राप्त हो क्योंकि वे आपके अज्ञात अज्ञात को पा लेंगे।
00:08:29आपकी कंपनी में निश्चित रूप से ऐसी चीजें चल रही हैं जिनसे आप अनजान हैं लेकिन उस कार्य के लिए वास्तव में सहायक होंगी जिसे आप करने का प्रयास कर रहे हैं।
00:08:35यह तेजी से आगे बढ़ेगा।
00:08:37लेकिन लक्षित पुनर्प्राप्ति, यदि आप जल्दी से एक लिंक प्रदान करते हैं, तो आपको सक्षम होना चाहिए, इसे खोलना चाहिए, उस दस्तावेज़ को वापस पाना चाहिए और आगे बढ़ना चाहिए।
00:08:43तो दो कार्य, गहरी शोध, लंबे समय तक जाओ, यह ठीक है।
00:08:46लेकिन जब गति की आवश्यकता हो तो आपको गति की भी आवश्यकता होती है।
00:08:49संघर्ष समाधान, हमने इसके बारे में पहले ही बात कर ली है।
00:08:51लेकिन एक बात कहती है ए करो, एक बात कहती है बी करो, कौन सही है।
00:08:55व्यक्तिगत प्रासंगिकता, मैं कौन हूँ, मैं कहाँ काम करता हूँ, मैं किस पर काम कर रहा हूँ।
00:08:59वह टोकन अनुकूलन, यह सुनिश्चित करना कि प्रतिक्रिया अच्छी और प्रभावी हो और खिड़की को न फुलाए।
00:09:04और फिर अनुमति प्रवर्तन, निश्चित रूप से, ओएथ, आपको इसे नहीं देखना चाहिए, आपको इसे नहीं देखना चाहिए।
00:09:10हमने कुछ परीक्षणों के साथ जो किया वह यह है कि हमने वास्तव में उसी मॉडल पर बिल्कुल उसी संकेत को चलाया और एक संदर्भ के साथ और एक बिना।
00:09:17यह दीवार घड़ी समय की बचत है और फिर दो घंटे, जो बहुत अच्छा है।
00:09:21और फिर टोकन की बचत।
00:09:23तो यह एक काफी बड़ा काम था।
00:09:25इसमें बिना इसके लगभग 21 मिलियन टोकन लगे और फिर 18, या क्षमा करें, इसके साथ 10.8 मिलियन टोकन लगे।
00:09:31यह उस प्रकार का अनुभव है जो आमतौर पर तब दिखाई देता है जब आप संदर्भ इंजन का उपयोग कर रहे होते हैं क्योंकि उन बर्बाद खोज टोकन का अधिकांश हिस्सा जहाँ इसे चीजों को समझने और खोजने के लिए प्रत्येक सत्र की शुरुआत में ग्रैप करना पड़ता है, जब यह संदर्भ के साथ हाइड्रेटेड होता है तो अब वहाँ नहीं होता है।
00:09:45हाइड्रेटेड।
00:09:47और फिर जैसे-जैसे आप आगे बढ़ते हैं, आपको इस प्रकार के परिणाम मिलते हैं।
00:09:5050% कम टोकन, तेज ट्राइएज, और उत्तर की गुणवत्ता वास्तव में बेहतर है क्योंकि यह जानता था कि व्यवसाय के अंदर क्या चल रहा था।
00:09:57अब इस अगले भाग के लिए, आप शायद एक फोटो चाहते हैं।
00:10:01यदि आप नहीं जानते हैं, तो आप वास्तव में एक क्यूआर कोड की तस्वीर ले सकते हैं और फिर बाद में तस्वीरों में, उस पर टैप कर सकते हैं और फिर लिंक को लोड कर सकते हैं ताकि आपको यहाँ तैरने की आवश्यकता न पड़े क्योंकि मैं आपको तीन क्यूआर कोड देने जा रहा हूँ।
00:10:09यह पहला सोशल कमेंट नेटवर्क के लिए है।
00:10:12मैं इसे पॉप अप करूँगा ताकि आप एक फोटो ले सकें।
00:10:14लेकिन यह हमारे पास एक ओपन-सोर्स टूल है जो वास्तव में सभी नियत प्रोग्रामिंग का उपयोग करके आपके गिटहब पर जाता है और समझता है कि आपकी टीम में कौन काम करता है।
00:10:22यह मेरी वास्तविक टीम है।
00:10:23हमने रशीन को मशीन कहा क्योंकि वह पागल की तरह शिप करता है।
00:10:26लेकिन दाईं ओर, आप देख सकते हैं कि वह कहाँ कमिट करता है, उसके काम की समीक्षा कौन कर रहा है।
00:10:30और फिर उन टैब में, आपको एक डिस्टिल्ड एक्सपर्ट्स ग्राफ़ मिल सकता है।
00:10:33आपको अपने व्यवसाय में चल रही हर चीज़ की पूरी कवरेज मिलती है।
00:10:35और यदि आप वैकल्पिक रूप से OpenAI या Anthropic में से किसी एक की API कुंजी जोड़ते हैं, तो यह आपके लिए कुछ लेबलिंग करके यह निर्धारित करेगा कि आपकी टीमें क्या हैं।
00:10:44यह यह समझने के लिए एक बहुत बढ़िया टूल है कि आपकी टीम कहाँ काम करती है और यदि आप इन टूल को खुद बना रहे हैं, तो संदर्भ इंजन को केंद्रित करने के लिए उस सोशल नेटवर्क को वहाँ प्राप्त करें।
00:10:52अगला रेपो रूल्स एजेंट कहलाता है।
00:10:55यह हमारे असली कोड बेस का एक नमूना है।
00:10:57मैं वैसे भी इसे सामने लाने जा रहा हूँ, ताकि आपको इस चीज़ से बात करने की ज़रूरत न पड़े।
00:11:00लेकिन संक्षेप में, यह क्या करता है कि आपकी टीम ने जहाँ-जहाँ नियम फ़ाइलें लिखी हैं, उन सभी जगहों का पता लगाता है, उन सभी की जाँच करता है, और फिर आपको बताता है कि आपने क्या गंभीरता दी है, आपने क्या अन्य चीज़ें दी हैं।
00:11:11क्या मुझे बस इस पर स्विच कर लेना चाहिए?
00:11:13यह आपको बताता है कि -- ओह, अरे।
00:11:15आप सभी से मिलकर अच्छा लगा।
00:11:17मूल रूप से, यह आपके रेपो के अंदर के सभी नियमों को खोज लेगा और फिर आपको बताएगा कि क्या आपके पास डुप्लिकेट समस्याएँ या अन्य समस्याएँ हैं।
00:11:24और फिर आप एक इंडेक्स के रूप में इस पर ग्रैप कर सकते हैं।
00:11:26तो उस इंडेक्स को कॉल किया जा सकता है और आप डिडुप्लीकेट कर सकते हैं, और यह संदर्भ की आपकी पुनर्प्राप्ति को बेहतर बनाने में मदद करेगा।
00:11:32और अंत में, सोमवार को, हमने यह कार्यशाला प्रदान की, जो RAG से आगे बढ़ रही थी, और सिखाया कि कैसे खरोंच से एक रिलेशनल संदर्भ इंजन बनाया जाए।
00:11:40तो यदि आप उसे स्कैन करते हैं, तो आपको पूरी कार्यपुस्तिका मिल जाएगी।
00:11:43इसमें छह PR स्टैक हैं जो आपको सिखाते हैं कि इसे करने के तरीके से कैसे गुजरना है।
00:11:46लेकिन संक्षेप में, RAG एक अविश्वसनीय तकनीक है, और आप वह चाहते हैं।
00:11:49लेकिन समस्या का दूसरा आधा हिस्सा यह है कि लोग असल में क्या पूछते हैं,
00:11:53वे खुले PR कौन से हैं जिन पर मैंने पिछले सप्ताह प्रमाणीकरण के साथ काम किया था?
00:11:57RAG अकेले उस प्रश्न का उत्तर नहीं दे सकता।
00:12:00आपको क्वेरी की आवश्यकता है।
00:12:01तो यह आपको दिखाता है कि कैसे एक स्कीमा-रहित रूप से मूल रूप से लुकअप किया जाए जो एजेंट को एक स्कीमा खोजने की अनुमति देता है,
00:12:08और फिर उस प्रकार के रिलेशनल डेटा को बाहर निकालने के लिए इसके खिलाफ deterministically क्वेरी लिखें।
00:12:13बहुत उपयोगी तकनीक।
00:12:15एक संदर्भ इंजन के उपयोग के मामले, निश्चित रूप से, कोड जेनरेशन से आगे जाते हैं।
00:12:21यहीं पर हम बहुत रहते हैं।
00:12:22हमारे बहुत से ग्राहक अपना समय बिताते हैं।
00:12:24लेकिन यह देखना अद्भुत है कि क्या होता है जब व्यवसाय के आसपास के कई अन्य लोग इन टूल को उठाना शुरू करते हैं।
00:12:30ग्राहक सफलता के लोग ग्राहक से आने के ठीक उसी समय टिकटों को हल कर रहे हैं।
00:12:35हमारे पास ऐसे सेल्सपर्सन हैं जो अपनी तिमाही में पहले सौदों को बंद कर रहे हैं क्योंकि वे मैदान में होने के दौरान अनब्लॉक संदर्भ इंजन को तुरंत क्वेरी करने में सक्षम हैं।
00:12:44और भी बहुत कुछ।
00:12:45आप यह भी कर सकते हैं कि यदि आपने वह वक्र चार्ट पहले देखा था जहाँ मैंने स्तरों के बारे में बात की थी,
00:12:51हमने एक मजेदार छोटा टूल बनाया है जहाँ मूल रूप से एक LLM आपसे पूछताछ करेगा और आपसे पूछेगा कि क्या चल रहा है,
00:12:55और फिर यह आपको ठीक वहीं मैप करेगा जहाँ आप हैं और फिर आपको कुछ तकनीक बताएगा कि इसके माध्यम से कैसे स्तर बढ़ाया जाए
00:13:01यदि आप मूल रूप से अपनी क्षमताओं को संयोजित करना चाहते हैं और बड़े पैमाने पर AI टूल के साथ शिप करना चाहते हैं।
00:13:07यह readiness.getunblocked.com है।
00:13:11अब अंतर बुद्धिमत्ता नहीं है।
00:13:13यह संदर्भ है।
00:13:14हम Mythos जैसे अविश्वसनीय मॉडल प्राप्त करना जारी रखेंगे क्योंकि इसे Anthropic द्वारा विकसित किया गया है,
00:13:19और मुझे यकीन है कि Sol, एक बार जब मुझे इसे देखने की अनुमति मिल जाती है, तो मुझे यह मिल जाएगा।
00:13:22वैसे, कनाडा दिवस की शुभकामनाएँ।
00:13:24लेकिन क्या हो रहा है कि यह उस संदर्भ के बारे में है जिसके साथ आप इन मॉडलों को घेरते हैं ताकि वे प्रभावी हो सकें
00:13:30और आपके संगठन के भीतर टोकन कुशल।
00:13:35तो मेरे पास एक प्रश्न स्लाइड है, लेकिन मुझे नहीं पता कि मुझे अनुमति है या नहीं।
00:13:40जी नहीं।
00:13:41तो आप क्या करेंगे कि बूथ P16 पर मुझसे मिलें।
00:13:44आप नारियल की तलाश कर सकते हैं।
00:13:46आप सभी के साथ समय बिताना और यदि आपको इसकी आवश्यकता हो तो यहाँ विवरण में जाना बहुत अच्छा होगा।
00:13:49अपना समय देने के लिए धन्यवाद।
00:14:00शुक्रिया।

핵심 요약

सदर्भ इंजन का उपयोग करने से एआई एजेंटों की टोकन खपत आधी हो जाती है और व्यावसायिक तर्क को समझने की क्षमता में सुधार होता है.

하이라이트

  • एजेंटिक वर्कफ़्लो में खराब संदर्भ की शुरुआती लागत बढ़ती जाती है और बाद में बार-बार सुधार करने से टोकन की बर्बादी होती है.

  • संदर्भ इंजन के उपयोग से कुल टोकन उपयोग 21 मिलियन से घटकर 10.8 मिलियन हो गया और प्रतिक्रिया की गुणवत्ता में सुधार हुआ.

  • क्यूरेटेड संदर्भ जाल और एमसीपी पठार जैसी पारंपरिक प्रणालियाँ संपूर्ण व्यावसायिक संदर्भ को समझने में विफल रहती हैं.

  • सदर्भ इंजन का उपयोग करने से कोड जेनरेशन के अलावा ग्राहक सफलता और बिक्री जैसे क्षेत्रों में भी कार्यों में तेजी आती है.

타임라인

संदर्भ इंजीनियरिंग और एआई एजेंटों की समस्या

  • एआई एजेंटों के पास कंपनी के काम करने के तरीके का संदर्भ नहीं होता है.
  • शुरुआत में खराब संदर्भ की अनदेखी करने से बाद में बड़ी लागत और डूम लूप की समस्या पैदा होती है.
  • मानव इंजीनियरों की तरह एआई एजेंटों को भी प्रभावी ढंग से काम करने के लिए संगठनात्मक संदर्भ की आवश्यकता होती है.

एआई मॉडल बहुत बुद्धिमान होते हैं लेकिन उनके पास कंपनी के आंतरिक कामकाज, ऐतिहासिक निर्णयों और उत्पादन वातावरण का कोई पूर्व ज्ञान नहीं होता है। जैसे-जैसे स्वचालन का स्तर बढ़ता है, बिना संदर्भ के काम करने वाले एजेंट बार-बार गलतियाँ करते हैं और टोकन बर्बाद करते हैं।

पारंपरिक दृष्टिकोणों की सीमाएँ और संदर्भ इंजन की आवश्यकता

  • स्थानीय फाइल सिस्टम और मार्कडाउन दस्तावेज़ जल्दी पुराने और अप्रাসঙ্গিক हो जाते हैं.
  • एमसीपी (MCP) सर्वर केवल पहली मिलने वाली जानकारी को सही मान लेते हैं और सभी वैकल्पिक संदर्भों पर विचार नहीं करते हैं.
  • एजेंटों को यह समझने की आवश्यकता है कि संगठन में कौन क्या काम कर रहा है और व्यावसायिक नियम क्या हैं.

कंपनियाँ अक्सर मार्कडाउन फाइलों या एमसीपी टूल्स का उपयोग करके संदर्भ देने का प्रयास करती हैं, लेकिन ये तरीके अपर्याप्त साबित होते हैं। एक संपूर्ण संदर्भ इंजन होना आवश्यक है जो व्यक्तिगत प्रासंगिकता, अनुमति नियंत्रण और वास्तविक समय के डेटा को एक साथ जोड़ सके।

संदर्भ इंजन के परिणाम और ओपन-सोर्स टूल्स

  • संदर्भ इंजन के उपयोग से टोकन की खपत 21 मिलियन से घटकर 10.8 मिलियन रह गई.
  • गिटहब गतिविधि और रिलेशनल संदर्भ इंजन का उपयोग करके टीम के विशेषज्ञता ग्राफ को समझा जा सकता है.
  • यह तकनीक केवल कोडिंग तक सीमित नहीं है बल्कि बिक्री और ग्राहक सहायता टीमों के लिए भी उपयोगी है।

वास्तविक परीक्षणों से यह साबित हुआ है कि संदर्भ से युक्त एआई मॉडल समय की बचत करते हैं और टोकन खर्च को आधा कर देते हैं। विभिन्न ओपन-सोर्स टूल और कार्यशालाएँ डेवलपर्स को खरोंच से एक रिलेशनल संदर्भ इंजन बनाने का तरीका सिखाती हैं।

커뮤니티 글

아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!

이 영상에 대해 글쓰기