मुझे 9 मिनट दीजिए, मैं आपको बताऊंगा कि Jev को अनदेखा करना आपकी सबसे बड़ी भूल क्यों है
MMaximilian Schwarzmüller
컴퓨터/소프트웨어창업/스타트업AI/미래기술
스크립트
00:00:00कुछ घंटे पहले एक नया AI मॉडल लॉन्च हुआ है और मुझे सच में लगता है कि यह पूरा गेम बदल सकता है।
00:00:07अब मुझे पता है, मुझे पता है कि लगभग हर हफ्ते नए मॉडल आते रहते हैं, लेकिन मैं यहाँ किसी नए
00:00:13लार्ज लैंग्वेज मॉडल की बात नहीं कर रहा हूँ। इसके बजाय, मैं टाइपसेफ AI के “जेफ” की बात कर रहा हूँ, और मुझे पता है कि यह
00:00:19किसी पर्सनल असिस्टेंट जैसा लगता है, जैसे ग्रॉकबॉट या जेफ, है ना? और टाइपसेफ AI सुनना
00:00:25किसी टाइपस्क्रिप्ट लाइब्रेरी जैसा लगता है, लेकिन ऐसा कुछ भी नहीं है। यह एक नए तरह का AI मॉडल है।
00:00:31यह लार्ज लैंग्वेज मॉडल नहीं है, लेकिन काफी स्मार्ट लगता है और हमें कुछ ऐसा देता है जो लार्ज लैंग्वेज
00:00:39मॉडल्स हमें थोड़ा-बहुत ही दे पाते हैं। सबसे पहले यह बात साफ़ कर दूँ कि यह वीडियो
00:00:44स्पॉन्सर्ड नहीं है। आप उनकी वेबसाइट typesafe.ai पर जा सकते हैं और वहाँ
00:00:51वेटलिस्ट जॉइन कर सकते हैं। मैंने भी कल शाम को जर्मन टाइम के हिसाब से जॉइन किया था और मुझे एक्सेस
00:00:56आज सुबह मिल गया। तो अब बात करते हैं कि आखिर यह है क्या? विचार यह है कि आपके पास एक ऐसा मॉडल है जो
00:01:04टेक्स्ट जनरेट करने के लिए नहीं, बल्कि उसे समझने के लिए बना है। आप इसमें कोई भी टेक्स्ट डाल सकते हैं और फिर इसे कुछ
00:01:12विकल्प दे सकते हैं। उदाहरण के तौर पर, मेरे पास कुछ सैंपल टेक्स्ट हैं, जो कुछ ईमेल हो सकते हैं या
00:01:21ग्राहकों के चैट मैसेज हो सकते हैं। मान लीजिए आपकी वेबसाइट पर चैट है और ग्राहक मैसेज भेज सकते हैं,
00:01:28तो वे मैसेज ऐसे हो सकते हैं। और फिर आप तय करना चाहते हैं कि उनके साथ क्या करना है। बेशक,
00:01:34आप उन्हें लार्ज लैंग्वेज मॉडल के ज़रिए प्रोसेस कर सकते हैं, लेकिन यहाँ कुछ समस्याएँ हैं। पहली बात, प्रॉम्प्ट इंजेक्शन
00:01:40का ख़तरा। दूसरी समस्या, यह काफ़ी महंगा हो सकता है क्योंकि आपको अपेक्षाकृत स्मार्ट मॉडल की ज़रूरत होती है, तो
00:01:48आप बहुत सारे टोकन खर्च कर रहे होंगे क्योंकि आपको अपने टूल के सारे विवरण उस मॉडल को भेजने होते हैं।
00:01:54आपको मॉडल को कुछ अतिरिक्त जानकारी भी भेजनी पड़ती है, और साथ में ग्राहक का मैसेज भी।
00:02:00इस प्रक्रिया में टोकन खर्च होते हैं। और तीसरी बात, यह काफी धीमा है। ये आधुनिक लार्ज लैंग्वेज
00:02:06मॉडल्स जवाब देने में थोड़ा समय लेते हैं। जेफ वाकई में बहुत तेज़ है, हम यहाँ मिलीसेकंड्स की बात
00:02:12कर रहे हैं। यह आपकी मशीन पर नहीं चल रहा है, यह अभी भी क्लाउड में है, लेकिन सुपर फास्ट है। और विचार यह है कि
00:02:18आप जेफ को मैसेज देते हैं—यहाँ “ask jeff” बस मेरा इस क्लाइंट का उपयोग करके AI से बात करना है।
00:02:26तो आप इसे वह मैसेज देते हैं, और आप इसमें ज़्यादा जटिल स्ट्रक्चर्ड डेटा भी पास कर सकते हैं,
00:02:32इसलिए इसका सिर्फ एक स्ट्रिंग होना ज़रूरी नहीं है। फिर आप इसे जानकारी देते हैं कि उस मैसेज के साथ
00:02:39क्या करना है। सटीक शब्दों में कहें तो आप इसे अपने सवाल देते हैं, और यहाँ तीन तरह के सवाल होते हैं:
00:02:46चॉइसेस (Choices), स्कोरिंग (Scoring), और नाउ (Now)। अब चॉइसेस वैसा ही है जैसा नाम से लगता है—आप इसे कुछ विकल्प देते हैं
00:02:53और फिर AI मॉडल आपको कॉन्फिडेंस स्कोर देता है कि कौन सा विकल्प सही है।
00:02:58स्कोर में आप मॉडल से स्कोरिंग करवाते हैं, आप इसे कुछ
00:03:02लेवल देते हैं और यह उन लेवल्स के आधार पर स्कोर बनाता है। और नाव (Now) वाले हाँ या ना वाले सवाल होते हैं।
00:03:10तो यहाँ इस बेसिक उदाहरण में, मुझे कुछ यूजर मैसेज मिलते हैं, जिन्हें मैं मॉडल को भेजता हूँ
00:03:15और फिर यहाँ मैं अपने सवाल तय करता हूँ। पहला सवाल है कि किस टीम को इस मैसेज को संभालना चाहिए, और मैं
00:03:21इसे तीन विकल्प देता हूँ। यह पूरी तरह आप पर निर्भर करता है, तो आप यहाँ अपनी ज़रूरत के हिसाब से कुछ भी तय कर सकते हैं।
00:03:26आप और विकल्प भी जोड़ सकते हैं, मुझे लगता है कि अभी 10 तक जोड़ सकते हैं, और आप बताते हैं कि हर विकल्प का क्या मतलब है।
00:03:33मेरे पास एक बिलिंग टीम है और मैं साफ़ कर देता हूँ कि यह टीम चार्जेस, इनवॉइसिंग वगैरह संभालती है।
00:03:38और इस डेमो में मेरे पास कुछ अन्य टीमें भी हैं। तो ग्राहक के उस मैसेज के आधार पर यह पहला सवाल है जो मैं जेफ को भेज रहा हूँ।
00:03:44लेकिन बस इतना ही नहीं है, क्योंकि आप एक ही राउंड में कई सवाल पूछ सकते हैं।
00:03:49हमारे पास कई चॉइस हो सकते थे, लेकिन यहाँ मैं हर कैटेगरी का एक-एक उदाहरण दिखाना चाहता हूँ। तो मेरे पास एक चॉइस वाला सवाल है,
00:03:53एक नाव (Now) वाला सवाल है जहाँ मैं पूछना चाहता हूँ “क्या यह मैसेज अर्जेंसी दर्शाता है?” और हम तीनों
00:04:00मैसेज इसमें से गुज़ारेंगे ताकि हम हर मैसेज के लिए देख सकें कि उसमें अर्जेंसी है या नहीं। और तीसरा
00:04:07सवाल जो मैं यहाँ भेज रहा हूँ वह स्कोरिंग सवाल है, जहाँ मैं जानना चाहता हूँ कि ग्राहक कितना परेशान या
00:04:11फ्रस्ट्रेटेड लगता है। और अगर मैं इसे इस तरह रन करता हूँ, तो हम देख सकते हैं कि यह एग्ज़ीक्यूट होता है और यह बहुत तेज़ है।
00:04:20इसे क्लाउड में AI मॉडल के पास भेजा गया और उसने सब हैंडल कर लिया, लेकिन इसमें कोई लार्ज लैंग्वेज
00:04:25मॉडल शामिल नहीं है। इसके बजाय, आप पहले ग्राहक मैसेज के लिए देख सकते हैं कि चॉइस यह थी कि
00:04:30टेक्निकल टीम को इसे संभालना चाहिए, वह भी एक कॉन्फिडेंस लेवल के साथ जो जेफ ने खुद जनरेट किया है।
00:04:36रही बात उस हाँ-या-ना वाले सवाल की कि क्या यह अर्जेंट है, तो हाँ यह काफी अर्जेंट है। यहाँ काफी कॉन्फिडेंट
00:04:42स्कोर है (लगभग 1) कि यह अर्जेंट है, और फ्रस्ट्रेशन लेवल भी काफी हाई है जैसा कि हम देख सकते हैं। दूसरा
00:04:49मैसेज था कि हमसे दो बार पैसे काट लिए गए हैं और हमें तुरंत रिफंड चाहिए, तो उसे
00:04:56बिलिंग टीम के पास भेजा जाना चाहिए। जेफ ने तय किया कि यह काफी अर्जेंट है और फ्रस्ट्रेशन भी इसमें काफी ज़्यादा है। और फिर
00:05:03तीसरा मैसेज सेल्स टीम के लिए है, यह अर्जेंट नहीं है और इसमें कोई फ्रस्ट्रेशन भी नहीं है।
00:05:09जैसा कि आप देख सकते हैं, या कम से कम मुझे यहाँ जो दिख रहा है, यह बहुत ही ज़्यादा उपयोगी हो सकता है। हम इसे
00:05:18लार्ज लैंग्वेज मॉडल्स से भी बना सकते हैं, लेकिन मैंने बताया कि उनके क्या नुकसान हैं। यह तेज़ है और बहुत ही
00:05:24सस्ता है। हमें प्राइसिंग की बात करनी होगी, इसकी लागत प्रति बिलियन 42 डॉलर है। बिलियन, बाकी मॉडल्स की तरह मिलियन नहीं,
00:05:33बिलियन इनपुट टोकन्स! और आउटपुट टोकन्स फ्री हैं, आउटपुट टोकन्स का कोई चार्ज नहीं है। तो यह उन सभी
00:05:40लार्ज लैंग्वेज मॉडल्स से बेहद सस्ता है। आप जेफ को बहुत सारे जटिल सवाल भेज सकते हैं और इसमें आपकी लागत
00:05:49लगभग शून्य होगी। और फिर से, आउटपुट टोकन के तो कोई पैसे लगते ही नहीं हैं! और यह बहुत तेज़ है, और इसे खास तौर पर
00:05:56इन्हीं फैसलों के लिए बनाया गया है। और अगर आप सोचें—और इसीलिए मैं इसे लेकर काफी उत्साहित हूँ—अगर आप
00:06:02सोचें तो जो कुछ भी हम बना रहे हैं, उसका बड़ा हिस्सा फैसलों पर टिका होता है। आप जो भी AI एजेंट बनाते हैं, वह फैसलों से
00:06:08भरा होता है—कब किस टूल को कॉल करना है, ये सब फैसले ही तो हैं। जैसा कि मैंने ज़िक्र किया, आप इसे
00:06:15लार्ज लैंग्वेज मॉडल्स के साथ कंबाइन कर सकते हैं। यहाँ मेरे पास एक और उदाहरण है जहाँ मैंने एक असिस्टेंट बनाया है, और वहाँ मेरे पास
00:06:22कुछ बहुत ही साधारण टूल कॉल्स हैं। मान लीजिए कि यह कोई होम असिस्टेंट है जहाँ हम
00:06:29किसी खास कमरे की लाइटें बंद या चालू कर सकते हैं, तो उसके लिए एक डमी फ़ंक्शन है, एक डमी टूल है।
00:06:35लेकिन जहाँ हम कुछ कार्यों के लिए लार्ज लैंग्वेज मॉडल का उपयोग भी करना चाह सकते हैं, क्योंकि जेफ टेक्स्ट ड्राफ्ट
00:06:42नहीं कर सकता। तो जब भी आप टेक्स्ट जनरेट करना चाहते हैं, जैसे कि ग्राहक के लिए कोई रिप्लाई ईमेल या ऐसा ही कुछ,
00:06:48तो आपको लार्ज लैंग्वेज मॉडल का इस्तेमाल करना होगा। और आप ऐसा कर सकते हैं—यहाँ मैं एक लार्ज लैंग्वेज मॉडल का इस्तेमाल
00:06:54कर रहा हूँ और Vercel के AI SDK के साथ ऐसा कर रहा हूँ। मैं मीडियम थिंकिंग एफर्ट्स पर GPT 5.6 Terra का इस्तेमाल कर रहा हूँ जो
00:07:02अपेक्षाकृत किफायती है। और फिर मैं जेफ से यह फैसला करवाता हूँ कि किस टूल का उपयोग करना है। तो वह जेफ है, लार्ज
00:07:10लैंग्वेज मॉडल नहीं। लेकिन फिर मैं उन टूल्स को एग्ज़ीक्यूट करता हूँ, और कुछ टूल्स में लार्ज लैंग्वेज मॉडल का उपयोग होता है
00:07:15और कुछ टूल्स में नहीं। और यही वास्तव में अद्भुत हिस्सा है। हम ऐसे सिस्टम बना रहे हैं जहाँ हमें
00:07:21हर समय फैसले लेने होते हैं, जहाँ हमें चीज़ों को स्कोर करना होता है या हर समय हाँ और ना के सवालों का जवाब देना
00:07:26होता है। और अभी हम अक्सर उनके लिए लार्ज लैंग्वेज मॉडल्स का उपयोग कर रहे हैं। और वे
00:07:31अच्छे हैं, मुझे गलत मत समझिए, और एक फायदा जो उनके पास निश्चित रूप से अभी भी है, वह है उदाहरण के लिए कांटेक्स्ट
00:07:36विंडो। डॉक्यूमेंट्स में लगभग 32,000 टेक्स्ट टोकन्स के बजट का ज़िक्र है जिन्हें आप अपने
00:07:45सवालों में भेज सकते हैं। तो इस तरह की सीमाएँ हैं। डॉक्यूमेंट्स में उनके मौजूदा फ्रंटियर मॉडल की
00:07:50कमियों (jaggedness) के बारे में भी एक पूरा आर्टिकल है, जहाँ यह गणित, संख्याओं, जैसे कि तारीख और समय की
00:07:56तुलना में अच्छा नहीं है। तो ऐसे पहलू हैं जहाँ यह अच्छा नहीं है। अब एक बात तो यह है कि मैं उम्मीद करूँगा कि बाकी सभी AI
00:08:05मॉडल्स की तरह यह भविष्य में बेहतर होगा और समस्याओं को हल किया जा सकेगा। और इसके अलावा, यह कोई “यह या वह” वाली बात
00:08:12नहीं है, यह एक जुड़ाव है। यह लार्ज लैंग्वेज मॉडल्स के साथ एक बेहतरीन एक्स्ट्रा टूल हो सकता है। और अगर यह
00:08:18उतना ही धीमा और महंगा होता, तो मुझे इसका कोई खास फायदा नज़र नहीं आता। लेकिन ऐसा नहीं है—जो फायदे
00:08:24यह देता है, उनसे यह वाकई में बहुत उम्मीद जगाता है। अब हमें लंबे समय तक टेस्टिंग करनी होगी, इसे
00:08:32प्रोडक्शन में देखना होगा, और ज़्यादा जटिल यूज़ केसेस पर देखना होगा ताकि यह मूल्यांकन किया जा सके कि क्या इसमें गलतियाँ होने की संभावना है, क्या इसमें
00:08:40प्रॉम्प्ट इंजेक्शन जैसी चीजों का ख़तरा ज़्यादा है, या यह इस तरह की समस्याओं से जूझ सकता है या नहीं। लेकिन यह
00:08:47वाकई उपयोगी दिखता है। और उदाहरण के लिए, कुछ महीने पहले हुए सबक्वाड्रेटिक मामले की तरह नहीं,
00:08:53यह कुछ ऐसा है जिसे आप इस्तेमाल और टेस्ट कर सकते हैं। यह अभी उपलब्ध है, कम से कम अगर आपको एक्सेस मिल जाए।
00:08:57आप वेटलिस्ट के लिए साइन अप कर सकते हैं, और मुझे बस कुछ ही घंटों में एक्सेस मिल गया था। और यह वाकई
00:09:03उपयोगी लगता है। मुझे लगता है कि हम जेफ को पारंपरिक प्रोग्रामिंग,
00:09:12यानी सामान्य डिटरमिनिस्टिक कोड और फिर लार्ज लैंग्वेज मॉडल्स के साथ मिलाकर बेहतरीन प्रोग्राम और सिस्टम बना सकते हैं,
00:09:20और इन सब के साथ कमाल की चीजें बना सकते हैं। तो हाँ, मुझे उम्मीद है कि जेफ क्या है, इसका यह एक अच्छा पहला प्रभाव और ओवरव्यू था। अगर आप
00:09:27खुद हाथ आज़माना चाहते हैं, तो वेटलिस्ट के लिए साइन अप करें, और फिर इसमें उतरें और इसके साथ प्रयोग करें।
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기