एआई एजेंट्स को दस लाख-टोकन कॉन्टेक्स्ट की आवश्यकता क्यों है — थॉमस वुल्फ और ओलिव सॉन्ग, मिनीमैक्स
AAI Engineer
컴퓨터/소프트웨어AI/미래기술
스크립트
00:00:00हमारे साथ मंच पर Hugging Face के सह-संस्थापक और मुख्य विज्ञान अधिकारी, थॉमस वूल्फ मौजूद हैं।
00:00:30नमस्ते सभी को। नमस्ते ओलिव। आपको मंच पर पाकर बहुत ख़ुशी हुई। यहाँ बुलाने के लिए शुक्रिया। मुझे लगता है कि आज आपको बहुत कुछ नया देखने को मिलेगा क्योंकि आपने अभी GLM को देखा है, जो आर्टिफिशियल एनालिसिस पर वर्तमान में दूसरे नंबर पर है। मैं उसे हटा देता हूँ क्योंकि कोई उसका उपयोग नहीं कर सकता। और अब हमारे पास चौथे नंबर पर है। तो मूल रूप से आपके पास सभी शीर्ष मॉडल होंगे, कम से कम शीर्ष ओपन सोर्स मॉडल एक के बाद एक।
00:00:57और हम बहुत भाग्यशाली हैं कि हमारे साथ ओलिव हैं, जिनका जीवन का सफर काफी अद्भुत रहा है। वह अमेरिका के पेनसिल्वेनिया आईं। वह NYU में यान लेकन की लैब में JPA पर काम करते हुए पीएचडी कर रही थीं। लेकिन हमने फैसला किया कि हम आज JPA के बारे में बात नहीं करेंगे, है ना? किसी और दिन के लिए। और फिर Hugging Face में शामिल होने के बजाय, जो उस समय न्यूयॉर्क में भी था, उन्होंने Minimax में शामिल होने का फैसला किया।
00:01:26तो उन लोगों के लिए जो शायद दुनिया भर की सभी नियो लैब्स को नहीं जानते हैं, और आपको माफ कर दिया जाता है क्योंकि मुझे लगता है कि अभी लगभग 64 नियो लैब्स हैं, मिनमैक्स चीन में जिन्हें हम एआई ड्रैगन्स कहते हैं, उनमें से शीर्ष पर है। तो ये नए हैं, यहाँ डीप सीक है, जो अब बहुत प्रसिद्ध है, मूनशॉट है, जो कीमी, जी, और जीएलएम बनाता है जिसे आपने अभी देखा।
00:01:51तो यहाँ नया मॉडल है, और अब हमारे पास मिनमैक्स है। ये सभी बेहद अच्छे हैं, बेहद प्रतिभाशाली टीम पहले स्थान के लिए लड़ रही है।
00:01:58तो मिनमैक्स का नवीनतम रिलीज़ M3 था, जो जून में ही आया था, जो उस समय का शीर्ष मॉडल था, शीर्ष ओपन सोर्स मॉडल।
00:02:08बहुत प्रभावशाली। इस मॉडल के बारे में बहुत सारी बहुत दिलचस्प बातें हैं, इसलिए हम उनमें तुरंत गोता लगाएँगे, और फिर इस बारे में थोड़ी बात करेंगे कि मिनमैक्स के बारे में क्या खास है, वहाँ क्या महान है।
00:02:20हाँ। तो शायद ओलिव, थोड़ी शुरुआत करने के लिए, क्या आप हमें M3 के बारे में अपना थोड़ा दृष्टिकोण दे सकती हैं, आपको इस मॉडल के बारे में क्या पसंद है, रिलीज़ कैसी रही?
00:02:32हाँ, M3, हमने इस महीने की शुरुआत में M3 रिलीज़ किया, और यह एक छोटा मॉडल है जिसमें 400, लगभग 400 बिलियन कुल पैरामीटर और 20 बिलियन सक्रिय हैं।
00:02:45लेकिन यह कोडिंग प्रदर्शन दोनों के मामले में बहुत सक्षम है, और यह विजन को भी समझता है।
00:02:52तो यह वह है जो ओपन सोर्स मॉडल के पास आमतौर पर नहीं होता है, कि वे कर सकते हैं -- मॉडल केवल कोडिंग से निपट सकता है, बल्कि यह वीडियो, छवियों को भी समझ सकता है, और इसमें एक मिलियन का सुपर लंबा संदर्भ है।
00:03:09हमारी नई वास्तुकला MSA, मिनमैक्स स्पार्स अटेंशन के साथ। इसलिए हमने वास्तव में इन तीन चीजों को एक साथ रखा है, क्योंकि हम जानते हैं कि वे हैं -- वे भविष्य के एआई अनुप्रयोगों में बहुत महत्वपूर्ण होंगी, कोडिंग क्षमताएं,
00:03:26अभिकर्ता क्षमताएं, लंबा संदर्भ, और बहु-मॉडल समझ। हाँ, मुझे लगता है कि मॉडल के बारे में यह बहुत दिलचस्प होगा।
00:03:35हाँ, तो इस मॉडल में बहुत कुछ समेटने के लिए है, और यह अभी भी, मुझे लगता है, एकमात्र शीर्ष पांच मॉडल, ओपन सोर्स मॉडल है, जो वास्तव में बहु-मॉडल है, इसलिए हमें इस बारे में बात करने की आवश्यकता है।
00:03:45लेकिन शायद पहले लंबे संदर्भ के बारे में, क्योंकि यह भी पहला था जिसमें वास्तव में यह वास्तविक एक मिलियन टोकन, लंबा संदर्भ था, जो वास्तव में कार्यात्मक है।
00:03:54और आप लोगों के पास मिनमैक्स स्पार्स अटेंशन भी था, जो इसे कुशल बनाने की एक तकनीक है, जिसे आपने व्यापक रूप से प्रकाशित और साझा भी किया है,
00:04:04तो क्या आप इसके बारे में थोड़ा बता सकती हैं, शायद यह प्रोजेक्ट अटेंशन से कैसे आगे बढ़ा, इस लंबे संदर्भ को कैसे बनाया जाए?
00:04:11हाँ, मैं कहूंगी कि लंबे संदर्भ के बारे में कहानी या तो मिनमैक्स M1 और मिनमैक्स 01 पर वापस जाती है, जहाँ मॉडल वास्तव में -- 10 मिलियन टोकन संदर्भ के कार्यों को करने में सक्षम था।
00:04:25दस मिलियन। दस मिलियन, हाँ। लेकिन तब यह एक अभिकर्ता मॉडल नहीं था, है ना? यह सिर्फ था, उदाहरण के लिए, किसी किताब को डंप करना, यह उस पर समीक्षा देने में सक्षम होगा, इस तरह की चीजें।
00:04:37तो हमने जो महसूस किया वह यह था कि लंबा संदर्भ वास्तव में बहुत सारी क्षमताओं को खोलता है, खासकर उपयोगकर्ताओं के साथ बातचीत करते समय।
00:04:47और अब जब एजेंट पूरे पर्यावरण के साथ बातचीत कर रहा है और सभी टूल प्रतिक्रियाएं प्राप्त कर रहा है, कई दौर प्राप्त कर रहा है, तो छोटे कार्यों को करने के लिए छोटा संदर्भ पर्याप्त नहीं होगा।
00:05:03तो इस संस्करण के लिए, हमने कहा, ओह, हमारे पास हमारे लंबे संदर्भ वापस होने चाहिए।
00:05:09और इसलिए हमने अपने मिनमैक्स स्पार्स अटेंशन के साथ पीछा किया, जो, जैसा कि आप जानते हैं, वह वास्तुकला था जो स्केलेबल था और जिसका एक सरल डिज़ाइन था।
00:05:23तो मैं उच्च स्तर से कहूंगी, सही? इसकी एक इंडेक्स शाखा है जो, जैसा कि आप जानते हैं, उच्च स्तर पर चुनती है कि संदर्भ में क्या अधिक मायने रखता है।
00:05:36और फिर हमारे पास एक स्पार्स अटेंशन शाखा है जो वास्तव में कार्यों को करने के लिए चयनित ब्लॉकों पर गणना करती है -- गणना करती है।
00:05:44और इसलिए, हाँ, इस तरह हमने वास्तव में एक सुंदर वास्तुकला तैयार की ताकि हम लंबाई को माप सकें और फिर इसके साथ भविष्य में मॉडल के आकार को माप सकें।
00:05:57यह सुंदर है। मुझे यह पसंद है कि कैसे, जो लोग काफी समय से इस क्षेत्र में हैं, उनके लिए हमारे पास ध्यान पर बहुत सारा काम था, है ना?
00:06:03यह N-वर्ग, और बहुत सारा रैखिक ध्यान था।
00:06:06हाँ।
00:06:06और फिर किसी तरह यह सब एक बिंदु पर गायब हो गया।
00:06:09जब फ्लैश अटेंशन आया, तो हमने पाया कि हमें केवल अधिक कुशल कर्नेल की आवश्यकता थी।
00:06:13और अब मुझे यह पसंद है कि हम सोचकर वापस आते हैं, आप जानते हैं, पहला सिद्धांत, ध्यान क्या है?
00:06:18हम इसे अधिक कुशल कैसे बना सकते हैं?
00:06:20तो एक मिलियन टोकन पागलपन है, है ना? GPT-2 1,024 था, और हर कोई ऐसा था, “ओह, यह वास्तव में बड़ा है। हमें कभी अधिक की आवश्यकता नहीं है।”
00:06:28आप इसे कहाँ आते देखते हैं, जैसे भविष्य में जा रहे हैं? जैसे जेफ डीन मुझे दूसरे दिन एक ट्रिलियन टोकन अटेंशन के बारे में बता रहे थे।
00:06:35क्या आपको लगता है कि हमें ट्रिलियन टोकन अटेंशन पर जाना चाहिए?
00:06:38यह निश्चित रूप से कुछ ऐसा है जिसकी ओर हम खोज कर सकते हैं, है ना, संदर्भ की अत्यधिक लंबाई, निश्चित रूप से।
00:06:45यह कुछ ऐसा है जिसके साथ पता लगाना बहुत रोमांचक है, और कुछ ऐसा जिसके लिए हार्डवेयर के साथ-साथ आर्किटेक्चर डिज़ाइन पर बहुत अधिक शोध की आवश्यकता होगी।
00:06:54हाँ।
00:06:55आपको लगता है कि अभी भी बहुत सारे कम लटके हुए फल हैं?
00:06:57तो आमतौर पर आज हमने देखा कि ओपनएआई वास्तव में कम कर रहा है, मेरा मतलब है, हम नहीं जानते कि एक फर्म के रूप में कैसे, लेकिन तनाव के आसपास कुछ अधिक कुशल प्रसंस्करण करके अपने अनुमान बिल को आधा कर रहा है।
00:07:08क्या आपको लगता है कि अभी भी बहुत सारे कम लटके हुए फल हैं जिन्हें हम प्राप्त कर सकते हैं कि हम इसे कैसे संसाधित कर सकते हैं?
00:07:14तो एक बात जो M3 के बारे में अभी भी बहुत दिलचस्प है वह यह है कि यह कितना सस्ता है, विशेष रूप से इस भाग ध्यान के कारण, या आंशिक रूप से क्योंकि यह छोटा है, लेकिन यह बहुत कुशल भी है।
00:07:22सही।
00:07:23आपको लगता है कि हम और भी आगे जा सकते हैं?
00:07:25शायद आपने मिनमैक्स पास अटेंशन का आविष्कार कैसे किया?
00:07:29क्या यह विचार लेकर आने वाला कोई एजेंट था?
00:07:31क्या यह अभी भी इस विचार के साथ आने वाला कोई इंसान था?
00:07:33हमें इसके बारे में थोड़ा बताएं।
00:07:35हाँ।
00:07:36तो हम सोचते हैं कि अभी भी बहुत सारा काम है जो वास्तुकला और अनुमान अनुकूलन में जा सकता है ताकि मॉडल अधिक कुशल हो सके, खासकर यदि ऐसे कार्य हैं जो बहुत संवेदनशील हैं, लेकिन बहुत मजबूत क्षमताओं की आवश्यकता है, है ना?
00:07:52और उसके लिए, उस तरह के कार्यों के लिए, हम वास्तव में चाहते हैं कि मॉडल कुशल हो।
00:07:56और इस हिस्से के साथ कौन आया?
00:07:59वास्तव में, मुझे लगता है कि हमारी टीम के एक इंटर्न ने उस पर काम किया।
00:08:02मैं भी।
00:08:03हम अभी तक इंटर्न नहीं हैं।
00:08:04यह आमतौर पर बहुत सारी लैब्स में नहीं होता है क्योंकि मुझे लगता है कि कुछ लैब्स में, इंटर्न के पास डेटा, काम और सामान तक पहुंच नहीं होती है।
00:08:15लेकिन हाँ, हम किसी के लिए भी खुले हैं जो हमारे मॉडल में योगदान देना चाहता है।
00:08:20तो वास्तुकला वास्तव में एक इंटर्न द्वारा डिजाइन की गई थी।
00:08:23यह बहुत अच्छा है।
00:08:24यहाँ अभी भी इंटर्न के लिए कुछ काम है।
00:08:26अच्छी खबर है।
00:08:27यह इस बात का भी एक अच्छा सिलसिला है कि मिनमैक्स आंतरिक रूप से कैसे काम कर रहा है।
00:08:32तो हम मंच पर आने से पहले चर्चा कर रहे थे कि हर कोई एक प्रोजेक्ट का प्रस्ताव दे सकता है।
00:08:37क्या आप हमें थोड़ा बता सकते हैं कि आप कैसे संगठित हैं, आप शोध कैसे करते हैं?
00:08:41मुझे लगता है कि यह स्कूल में या पहले भी, आप जानते हैं, बहुत अलग है।
00:08:49पहले की तकनीकी कंपनियां।
00:08:51यह काफी अलग है।
00:08:53यह बात यह है कि हम सुनिश्चित करते हैं कि हमारे पास अच्छी नींव और अच्छा बुनियादी ढांचा हो ताकि कोई भी मॉडल के साथ खेल सके
00:09:04और सोच सकें कि वे मॉडल के साथ क्या सुधार सकते हैं।
00:09:07और फिर मॉडल रिलीज के बाद, जब वे स्वतंत्र होते हैं, सही, वे मॉडल के साथ खेल सकते हैं।
00:09:13वे अपने स्वयं के मूल्यांकन के बारे में सोच सकते हैं।
00:09:15वे अपनी खुद की कमजोरियों को पा सकते हैं और उस चीज़ का प्रस्ताव कर सकते हैं जिसे वे मॉडल पर सुधारना चाहते हैं।
00:09:21और फिर अन्य लोग जो उसमें रुचि रखते हैं, वे, आप जानते हैं, प्रोजेक्ट में शामिल होने का प्रस्ताव देंगे।
00:09:26और वे कुछ हफ़्तों या कुछ महीनों तक काम करेंगे।
00:09:29और जब वे काम करते हैं, तो अंतिम चीज़ हमारे मॉडल पर भेज दी जाती है।
00:09:33यह है, आप जानते हैं, हम अपने अंतिम प्रशिक्षण में इसका उपयोग करते हैं और इसे दर्शकों के लिए भेज दिया जाता है।
00:09:39दिलचस्प।
00:09:39तो आपके पास प्रोजेक्ट पर वास्तव में लंबे समय तक काम करने वाले लोग हो सकते हैं।
00:09:42जब आप कुछ महीने कहते हैं, तो यह क्या संभव है की बहुत गहरी खोज की तरह हो सकता है।
00:09:46हाँ।
00:09:47और मैं कहूंगी, उदाहरण के लिए, वास्तुकला को जांच, अनुसंधान के लंबे समय की आवश्यकता हो सकती है,
00:09:53प्रयोग, प्री-ट्रेनिंग के लिए मूल्यांकन को फिर से करना।
00:09:57हाँ।
00:09:58तो इसके लिए अधिक समय की आवश्यकता हो सकती है।
00:10:00यह वास्तव में अच्छा है।
00:10:01हाँ।
00:10:02और मैं जानती हूँ कि आप मूल्यांकन पर भी बहुत बड़े हैं।
00:10:03मैं सहमत हूँ।
00:10:04हम इसके बारे में बात कर सकते हैं।
00:10:05शायद इससे संबंधित एक बात यह है कि यह अनूठी विशिष्टता है जो M3 और आपकी टीम के पास है
00:10:11मल्टी-मोडालिटी।
00:10:12तो केवल पाठ नहीं, बल्कि यह मॉडल छवि और वीडियो को भी समझ सकता है।
00:10:16और जहाँ तक मैं समझता हूँ, कृपया इसे और बेहतर ढंग से समझाएँ, जब हमने Hugging Face पर मॉडल कार्ड पढ़ा,
00:10:21यह कहता है कि मॉडल को पहले चरण से बहु-मॉडल के रूप में प्रशिक्षित किया गया था, न कि केवल स्रोत के बाद उपयोगकर्ता एक की तरह
00:10:26है ना?
00:10:27हाँ।
00:10:28क्या आप हमें इसके बारे में थोड़ा और बता सकते हैं और आपको क्यों लगता है कि यह महत्वपूर्ण है और क्यों
00:10:33क्या आप मल्टी-मॉडल प्रशिक्षण पर पहले कदम से शुरुआत कर रहे हैं न कि केवल इस प्रशिक्षण से?
00:10:37तो हम इसे मूल मल्टी-मोडालिटी कहते हैं।
00:10:41और इसलिए यह मॉडल लैब्स के लिए मल्टी-मॉडल को प्रशिक्षित करने के लिए किसी तरह विशिष्ट है, मान लीजिए विजन समझ
00:10:50क्षमताएं, पाठ पूर्व-प्रशिक्षण पूरा होने के बाद।
00:10:54वे एडाप्टर लगाते हैं और फिर उस हिस्से को प्रशिक्षित करते हैं।
00:10:57लेकिन हमने जो पाया वह यह था कि इससे वास्तव में पाठ प्रदर्शन को नुकसान पहुंचेगा।
00:11:02और विजन समझ का प्रदर्शन इतनी अच्छी तरह से अभिसरण नहीं करेगा क्योंकि मॉडल प्रकार का है
00:11:08पाठ समझ की ओर अभिसरण करता है।
00:11:11और यह सबसे इष्टतम नहीं है और सबसे स्केलेबल भी नहीं है।
00:11:17यदि आप इसके बारे में सोचते हैं, तो हम डेटा को स्केल करना चाहते हैं, है ना?
00:11:20और साथ ही हम यह भी कर सकते हैं, कुछ लैब्स प्री-ट्रेनिंग के आधे रास्ते से इस क्षमता को प्रशिक्षित करती हैं।
00:11:27उदाहरण के लिए, निरंतर प्री-ट्रेनिंग।
00:11:29लेकिन हमने जो पाया कि यह बहुत होगा, आप जानते हैं, नुस्खा संवेदनशील।
00:11:35यह अलग है, अलग-अलग आर्किटेक्चर के लिए नुस्खा अलग होगा, अलग, आप जानते हैं,
00:11:41डेटा मिश्रण, अलग सीखने की दर।
00:11:43इसे नियंत्रित करना मुश्किल है, मुश्किल है, आप जानते हैं, अपने परिणामों को बड़े पैमाने पर, आप अपने प्रयोग के परिणामों को वास्तव में स्केल नहीं कर सकते हैं
00:11:52और एक बड़े मॉडल के निष्कर्ष।
00:11:54और इसलिए, आप जानते हैं, हमने जो सोचा वह यह था कि पहले चरण से ही प्रशिक्षण क्यों न शुरू किया जाए?
00:12:01यह सबसे स्वाभाविक आता है।
00:12:03हम जानते हैं कि बहुत सी लैब्स ऐसा करने में समस्याओं का सामना करती हैं।
00:12:07प्रशिक्षण के कुछ चरणों के बाद मॉडल ढह जाएगा, आप जानते हैं, पाठ और दृष्टि दोनों समझ।
00:12:15लेकिन हम उस समस्या को हल करने में कामयाब रहे।
00:12:18हमने आईटी पर बहुत काम किया और हमने उस डेटा पर बहुत काम किया जिसे हम वास्तव में प्रशिक्षित कर रहे हैं।
00:12:26उदाहरण के लिए, हम इंटरलीव्ड डेटा करते हैं, जिसे हम इंटरलीव्ड डेटा कहते हैं।
00:12:30यह वास्तव में प्राकृतिक डेटा है, लेकिन हम इसे छिपाने के बजाय छवियों और वीडियो को रखते हैं।
00:12:38और हम डेटा पर काफी अच्छी सफाई और मास्किंग करते हैं।
00:12:42और हम बहुत अच्छी रिवॉर्ड मॉडलिंग करते हैं ताकि हम इसे पहले चरण से प्रशिक्षित करें और यह काफी आगे बढ़े।
00:12:50हाँ, यह क्रैश नहीं होता।
00:12:52यह वाकई बहुत प्रभावशाली है।
00:12:53प्रभावशाली।
00:12:54क्या हमें भविष्य में इससे भी बड़े मॉडल की उम्मीद करनी चाहिए?
00:12:57तो यह वाला अभी भी काफी छोटा है, है ना?
00:12:59यह 428 अरब पैरामीटर्स का है, जिसमें 23 अरब एक्टिव हैं।
00:13:04खैर, क्या आपको लगता है कि आप एक ट्रिलियन से आगे जाएंगे?
00:13:08निश्चित रूप से।
00:13:09हाँ, भविष्य में निश्चित रूप से।
00:13:12ऐसे कई काम हैं जिन्हें छोटे पैरामीटर्स के साथ मॉडल बहुत अच्छे से नहीं कर पाएगा।
00:13:21हम निश्चित रूप से इससे अधिक महत्वाकांक्षी होने जा रहे हैं।
00:13:25यह बहुत बढ़िया है।
00:13:26आगे इंतजार रहेगा।
00:13:27और एक और दिलचस्प बात जो मुझे हमेशा मिनिमैक्स के बारे में आकर्षक लगती है, वह यह है कि आपके पास ऐप्स और उत्पादों की पूरी श्रृंखला भी है, है ना?
00:13:36तो मुझे पहले से ही याद है, मिनिमैक्स ने पिछले साल जनवरी में Hugging Face प्लेटफॉर्म पर चीज़ों को ओपन-सोर्स करना शुरू कर दिया था।
00:13:43तो वह 18 महीने पहले की बात है।
00:13:45और हम टीम के बारे में थोड़ा बात कर रहे थे यह समझने के लिए कि आप क्या कर रहे थे।
00:13:48और मुझे याद है, इनमें से कुछ ऐप्स पर आपका उपयोग पहले से ही बहुत अधिक था।
00:13:54क्या आप हमें थोड़ा बता सकते हैं कि यह सब कैसे शुरू हुआ?
00:13:57तो क्या मूल रूप से आपके पास बहुत सारे ऐप्स थे और फिर आपने सोचा, हमारे पास यह सारा डेटा है।
00:14:02क्यों न एक मॉडल को प्रशिक्षित किया जाए?
00:14:03और फिर उन्होंने एक रिसर्च टीम बनाई।
00:14:05वहाँ की कहानी कैसी थी?
00:14:07हमारी कहानी पहले दिन से ही मॉडल की रही है।
00:14:11तो मेरा मानना है कि मल्टी-मोडैलिटी मॉडल, एक ऐसा मॉडल जो सभी विजन को समझ सके और सभी मोडालिटी को आउटपुट दे सके,
00:14:19वह पहली चीज़ थी जिसकी योजना हमारे सीईओ ने पहले दिन बनाई थी, कंपनी शुरू होने से भी पहले।
00:14:25तो वह एजीआई का सपना था।
00:14:27मुझे लगता है कि वह बहुत, बहुत पहले था, चैटजीपीटी के आने से भी पहले।
00:14:30वाह।
00:14:31हाँ।
00:14:32और फिर ऐप्स ऐसी चीज़ हैं जो साथ-साथ आती हैं।
00:14:35क्योंकि आपके पास कुछ मॉडल क्षमताएं हैं, आप चाहते हैं कि लोग इसका अच्छा अनुभव लें।
00:14:40बहुत से लोग API के साथ इसका उपयोग नहीं कर सकते, है ना?
00:14:43हम यह उम्मीद नहीं कर सकते कि हर कोई API के साथ इसका अनुभव ले।
00:14:46इसलिए हमें अच्छे यूजर इंटरेक्शन, इंटरफेस, अच्छे ऐप्स, अच्छे परिदृश्यों की आवश्यकता है जिनके साथ लोग मॉडल का अनुभव ले सकें।
00:14:57मुझे लगता है कि वास्तव में उन ऐप्स ने 200 के करीब देशों में वैश्विक स्तर पर 300 मिलियन से अधिक लोगों को कवर किया है।
00:15:06और मुझे लगता है कि दस लाख से अधिक कंपनियां भी।
00:15:09हाँ।
00:15:10जब मैंने इसके आकार के बारे में सुना तो यह होश उड़ा देने वाला था।
00:15:12और हमें अक्सर इस तरह के उपयोग के आकार का एहसास नहीं होता है।
00:15:17और यह मुझे ओपन-सोर्स बिजनेस मॉडल और उन सब के बारे में सवाल की ओर ले जाता है, जो कि हमेशा से मौजूद रहने वाला सवाल है, जो कि अभी मॉडल को ओपन-सोर्स करना अच्छा है लेकिन आपको कुछ राजस्व धारा भी होनी चाहिए, है ना?
00:15:33और इसलिए मुझे लगता है कि M3 कुछ ऐसा है जिसे आपने उदाहरण के लिए मुफ्त में देने का फैसला किया।
00:15:38और फिर मुझे लगता है कि यह दुनिया के लिए बहुत बढ़िया है।
00:15:41आप इसे कैसे देखते हैं?
00:15:42क्या आपके पास ऐप के लिए कुछ खास मॉडल भी हैं जिनका आप उपयोग करते हैं?
00:15:45क्या आप सोचते हैं, क्या आपको लगता है कि भविष्य में आप जारी रखेंगे, यह कहना शायद निश्चित रूप से कठिन है, लेकिन क्या आपको लगता है कि आप मॉडल को ओपन-सोर्स करना जारी रखेंगे?
00:15:52अभी ओपन-सोर्सिंग को लेकर संस्कृति कैसी है?
00:15:55व्यक्तिगत रूप से, और मॉडल रिसर्च टीम के लिए भी, हम हमेशा मॉडल को ओपन-सोर्स करने की उम्मीद करते हैं।
00:16:01यह हमारी योजना है क्योंकि हम वास्तव में देखते हैं कि कैसे ओपन-सोर्स समुदाय मिलकर मॉडल को बेहतर बनाने में मदद कर सकता है।
00:16:09उदाहरण के लिए, हमें महान समुदाय से मॉडल के प्रदर्शन पर बहुत सारी प्रतिक्रियाएं मिलती हैं और हमें जो भी हम ओपन-सोर्स करते हैं उस पर PRs मिलते हैं, है ना?
00:16:20और वे बहुत, बहुत मूल्यवान हैं और हमारे बाद के संस्करणों में आते हैं।
00:16:24तो निश्चित रूप से ओपन-सोर्सिंग बहुत बढ़िया है।
00:16:27यह बहुत बढ़िया है।
00:16:28और वास्तव में, क्या दर्शकों से आपकी कोई मांग है, जो लोग M3 या Minimax का उपयोग कर रहे हैं?
00:16:33क्या कोई ऐसी चीज़ है जिसे आप चाहेंगे कि वे प्रतिक्रिया के रूप में आपको वापस भेजें?
00:16:37क्या आप, उदाहरण के लिए, क्या आप पढ़ते हैं जब लोग मॉडल को संशोधित करने का प्रयास करते हैं या आसपास खेलते हैं, जानते हैं, बदलाव?
00:16:43या आपको क्या लगता है कि भविष्य के मॉडल के लिए आप समुदाय से सबसे अच्छी चीज़ क्या ले सकते हैं?
00:16:51मैं कहूंगा कि लोग जिन भी समस्याओं का सामना कर रहे हैं, विशेष रूप से मल्टीमोडैलिटी के साथ, है ना?
00:16:57यह पहली बार है जब हम इसे एक साथ जोड़ रहे हैं।
00:16:59हम भविष्य में उस पर निश्चित रूप से अधिक महत्वाकांक्षी होने जा रहे हैं।
00:17:03अभी इसमें कुछ खामियां हो सकती हैं लेकिन हम उसमें सुधार कर रहे हैं।
00:17:06तो जो भी प्रतिक्रिया हो कि मॉडल उतना अच्छा नहीं कर रहा है, हम भविष्य के संस्करणों में निश्चित रूप से उसमें सुधार करेंगे।
00:17:13और साथ ही जो भी विशेषताएं लोग चाहते हैं।
00:17:17कहें, आप जानते हैं, उदाहरण के लिए, सोचने का प्रयास, है ना?
00:17:21कुछ लोग इसके लिए पूछते हैं।
00:17:23जैसे, हर कोई पूछ सकता है और हम भविष्य के मॉडल में इसे पूरा करने का प्रयास करेंगे।
00:17:28हाँ।
00:17:29क्या आप कोडिंग एजेंटों के मामले में अभी मल्टीमोडैलिटी में बहुत सारे उपयोगकर्ताओं को देखते हैं?
00:17:33मुझे लगता है कि यह थोड़ा कम खोजा गया है।
00:17:37यह है।
00:17:38यह है।
00:17:39लेकिन यह वास्तव में बहुत सारी क्षमताओं और बहुत सारे एजेंट अनुप्रयोगों को अनलॉक कर सकता है।
00:17:47कहिए कि, उदाहरण के लिए, आप चाहते हैं कि मॉडल पावरपॉइंट्स को पढ़े, है ना?
00:17:51या कुछ ऐसी रिपोर्टों को पढ़े जो बहुत संरचित नहीं हैं।
00:17:55और आप चाहते हैं कि यह एक बहुत लंबे वीडियो को समझे।
00:17:58मान लीजिए कि आपने एक लंबा चलने वाला वीडियो बनाया है और फिर आप चाहते हैं कि मॉडल इसे समझने के बाद कुछ टूल का उपयोग करके काम करे।
00:18:07और यह एजेंट उपयोग के मामलों की एक विस्तृत विविधता को अनलॉक करता है।
00:18:12तो जैसे एजेंट आखिरकार मेरा YouTube ट्यूटोरियल देख सकता है और समझ सकता है कि मेरे कोडिंग टूल का उपयोग कैसे करना है, मैं इसका वर्णन कैसे करता हूँ?
00:18:18क्या यह कुछ ऐसा है?
00:18:19हूँ?
00:18:20क्या एजेंट आखिरकार YouTube ट्यूटोरियल देख सकता है और उनसे चीजें समझ सकता है?
00:18:24हाँ।
00:18:25हाँ।
00:18:26मुझे ऐसा लगता है।
00:18:27क्या आप आंतरिक रूप से बहुत सारे एजेंट कोडिंग टूल का उपयोग करते हैं?
00:18:30क्या यह ऐसा है, मेरा मतलब है कोडिंग निश्चित रूप से, लेकिन जैसे, क्या यह अनुसंधान के मामले में भी पहले से है?
00:18:34क्या यह स्वचालित है?
00:18:35हाँ।
00:18:36आंशिक रूप से?
00:18:37या नहीं?
00:18:38यह कैसे काम करता है?
00:18:39हाँ।
00:18:40हमारे पास अपने खुद के रिसर्च हार्नेस हैं।
00:18:42हम अपने खुद के रिसर्च हार्नेस बनाते हैं जो हमारे वर्कफ़्लो को स्वचालित करते हैं।
00:18:46मैं कहूंगा कि हमारे कई वर्कफ़्लो स्वचालित हैं।
00:18:49आप देख सकते हैं कि कैसे नवीनतम फ़्रंटियर मॉडल क्षमता-रहित कर्नेल अनुकूलन को आगे बढ़ाते हैं, है ना?
00:18:57जैसे, मॉडल को अन्य मॉडल तैयार करने दें।
00:19:00मॉडल को डेटा, ऑटो डेटा, इस तरह की चीजें बनाने दें।
00:19:05आप देख सकते हैं कि कैसे अधिक से अधिक मॉडल उन्हें करने में सक्षम हैं, जिसमें M3 भी शामिल है।
00:19:10वास्तव में, हम उन मामलों में बहुत अच्छे थे, लंबी क्षितिज और कर्नेल संगठन।
00:19:16और इसलिए हम उस मॉडल क्षमता का उपयोग कर सकते हैं, इसे एक साथ जोड़ सकते हैं, और हमारी दैनिक दिनचर्या में मदद कर सकते हैं,
00:19:24और हमारे पुनरावृत्ति को और भी तेज बना सकते हैं।
00:19:26क्या M3 पहले से M4 बना रहा है?
00:19:30M3.1 बना रहा है।
00:19:31M3.1?
00:19:32हाँ।
00:19:33ठीक है।
00:19:34अभी काम नहीं।
00:19:35पहले से ही।
00:19:36मैं इस बात पर समाप्त करना चाहूंगा कि आने वाले महीने में आपको क्या रोमांचक लगता है।
00:19:41आपको क्या लगता है?
00:19:42यह सुविधा के मामले में आसान हो सकता है या उन चीजों के मामले में जो आप AI में होते देखना चाहते हैं, या अधिक व्यापक रूप से
00:19:49जो भी वास्तव में आपके दिमाग में सबसे ऊपर है, मैं कहूंगा, होने जा रहा है।
00:19:54बहुत सी चीजें बहुत रोमांचक हैं।
00:19:58लेकिन जो मुझे हाल ही में सबसे रोमांचक लगा वह मल्टी-एजेंट होंगे जो मुझे लगता है कि बहुत सारे
00:20:04AI अनुप्रयोग मॉडल रूटिंग, मल्टी-एजेंट का उपयोग कर रहे हैं, जो और भी अधिक क्षमताओं को अनलॉक करता है,
00:20:11और भी अधिक जटिल कार्य।
00:20:13और साथ ही, यह हमें बताता है कि मॉडल किस चीज में सक्षम हैं और किस चीज में नहीं।
00:20:19और आप इसके साथ बहुत सी चीजें कर सकते हैं।
00:20:22यह काफी रोमांचक है।
00:20:24बहुत-बहुत धन्यवाद, एलाइव।
00:20:25आपको पाकर खुशी हुई।
00:20:26मुझे यहाँ बुलाने के लिए धन्यवाद।
00:20:27सभी को धन्यवाद।
00:20:28सभी को धन्यवाद।
00:20:29सभी को धन्यवाद।
00:20:29धन्यवाद।
00:20:29सभी को धन्यवाद।
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기