फ्रंटियर इंटेलिजेंस के साथ रियलटाइम वॉयस एजेंट्स — बोहान ली, एलिसेएआई (EliseAI)
AAI Engineer
컴퓨터/소프트웨어AI/미래기술
스크립트
00:00:00मेरा नाम बो है। मैं यहां फ्रंटियर इंटेलिजेंस के साथ रियल-टाइम वॉयस एजेंट्स पर प्रस्तुति देने आया हूँ।
00:00:18हम इस बारे में बात करेंगे कि कैसे हम एलिसे एआई में
00:00:22अपने वॉयस एजेंट हार्नेस को डिज़ाइन किया है ताकि हमें उस फ्रंटियर स्तर की बुद्धिमत्ता के साथ
00:00:28रियल-टाइम आवाज़ मिल सके जिसकी हमें आवश्यकता है। तो शुरू करने से पहले, मैं कुछ समानताएं खींचना चाहता हूँ
00:00:36कि हमने कैस्केडेड वॉयस एजेंट्स के साथ जाने का फैसला क्यों किया
00:00:42और विशेष रूप से इसकी तुलना सेल्फ-ड्राइविंग कारों से करना चाहता हूँ जिन पर मैं पहले काम कर रहा था।
00:00:48तो मेरे लिए कैस्केडेड वॉयस एजेंट्स बहुत समझ में आते हैं जब आप इसे इस नज़रे से देखते हैं
00:00:53कि इसे धारणा (परसेप्शन) में तोड़ा जाए, जो सेल्फ-ड्राइविंग कारों के लिए
00:00:59बाउंडिंग बॉक्स, कैमरा, लिडार होता है। आवाज़ के लिए यह
00:01:05मूल रूप से ट्रांसक्रिप्शन होता है, जो वास्तविक दुनिया के इन संकेतों को
00:01:09डेटा के ऐसे तत्वों में बदल देता है जिन्हें भाषा मॉडल या जिस भी मस्तिष्क पर आप काम कर रहे हैं, वह प्रोसेस कर सके।
00:01:17दूसरा है प्लानिंग स्टैक जो कि काफी सीधा है।
00:01:23यह वह जगह है जहां भाषा मॉडल परसेप्शन चरण के आउटपुट को लेता है और
00:01:29वे आउटपुट तैयार करता है जिन्हें आप वापस वास्तविक दुनिया में बाहर भेजना चाहते हैं। और अंत में नियंत्रण (कंट्रोल) परत है
00:01:36जहां सेल्फ-ड्राइविंग में आप उस प्रक्षेपवक्र (ट्रजेक्टरी) को लेंगे जो प्लानर आउटपुट करेगा और
00:01:43इसे वास्तविक नियंत्रणों में बदल देंगे ताकि कार को चलाया जा सके। यहाँ हम टेक्स्ट को
00:01:50ऑडियो में बदल रहे हैं जिसका उपयोग हम अपने वॉयस एजेंट के विचारों को व्यक्त करने के लिए करते हैं। और हाँ, तो यहाँ मैं इनमें से प्रत्येक तत्व में गहराई से उतरूँगा
00:02:00और हमने बुद्धिमत्ता का त्याग किए बिना अपने वॉयस एजेंट्स की गति को बेहतर बनाने के लिए
00:02:08इनमें से प्रत्येक क्षेत्र पर कुछ दिलचस्प तरकीबें बनाई हैं।
00:02:13तो पहली परत ट्रांसक्राइबर परत होने जा रही है। इसलिए हम इस अवधारणा के साथ आए हैं जैसे
00:02:19स्ट्रीमिंग स्पेक्युलेटिव ट्रांसक्राइबर, जहाँ प्रभावी रूप से हम एक तेज़ स्ट्रीमिंग
00:02:24ट्रांसक्राइबर जैसे फ्लक्स को स्क्राइब v2 या एक सटीक बैच ट्रांसक्रिप्शन के ऊपर या नीचे रखते हैं
00:02:33जो अधिक संदर्भ लेता है। यह थोड़ा धीमा है लेकिन यह आपको अधिक सटीक पहचान देगा।
00:02:39तो अब एक सेटिंग के माध्यम से चलते हैं, इस मामले में एजेंट ने बस पूछा है
00:02:44क्या आप अपना नाम और जन्म तिथि लिख सकते हैं और उपयोगकर्ता यह कहने जा रहा है और हम देखेंगे कि यह
00:02:49समय के हिसाब से कैसे सामने आता है। तो सबसे पहले हमें निश्चित पहचान मिलेगी। हम इसे प्राप्त करेंगे
00:02:57स्ट्रीमिंग परत से। सटीक परत, सुधारात्मक परत सक्रिय नहीं होगी क्योंकि यह समान पाठ है।
00:03:05हमें कुछ और स्ट्रीमिंग टेक्स्ट पहचान प्राप्त होने जा रही है और इस मामले में सुधारात्मक परत वास्तव में
00:03:11रद्द कर दी जाती है क्योंकि हमें नया टेक्स्ट मिला है इसलिए अधिक संदर्भ, अधिक ऑडियो पुराने सटीक वाले को हरा देगा।
00:03:21और यहाँ पहली बार सुधार आता है। इसलिए क्योंकि स्क्राइब v2 परत समझती है
00:03:27प्रश्न के संदर्भ को, वह यह समझने में सक्षम है कि यह किसी नाम के बारे में बात कर रहा है और यह जन्म तिथि है।
00:03:34और फिर कुछ और पहचान। ये सिर्फ विराम चिह्न हैं। हमें परवाह नहीं है।
00:03:37और अंत में हम इस पाठ को एजेंट के पास भेज देते हैं।
00:03:44और भाषा मॉडल की ओर बढ़ते हैं। यहाँ चूंकि हम इन धीमे लेकिन
00:03:52बुद्धिमान एलएलएम का उपयोग कर रहे हैं, हम वास्तव में राउंड ट्रिप की संख्या को कम करना चाहते हैं और वह चीज़ जो हमसे बहुत सारे
00:03:58अनुमान लगवाती है, वह है टूल कॉलिंग। तो उससे छुटकारा पाने का एक तरीका यह है कि बैकग्राउंड एजेंट्स आपके लिए टूल
00:04:05कॉल करें और टूल्स को मुख्य एजेंट के संदर्भ में वापस धकेल दें ताकि उसे लगे कि
00:04:13उसने टूल कॉल किया है लेकिन वास्तव में उसने नहीं किया है। तो पहले की तरह पहचान याद रखें। तो क्या होगा कि इनमें से प्रत्येक पहचान ट्रिगर करेगी
00:04:26एजेंट की एक शुरुआती पीढ़ी को और हम लेकिन हम वास्तव में तब तक इसका खुलासा नहीं करेंगे जब तक हम यह पुष्टि नहीं कर रहे हैं कि
00:04:38उपयोगकर्ता ने बोलना समाप्त कर दिया है। तो इस मामले में उपयोगकर्ता 'श्योर' कहता है। एजेंट एक तरह से जानता है कि उपयोगकर्ता कुछ और कहने वाला है।
00:04:45हमारी बैकग्राउंड टूल कॉलिंग यहाँ जो उपयोगकर्ता की पहचान से नाम और जन्म तिथि का पता लगाने में हमारी मदद कर रही है
00:04:51वह सक्रिय नहीं हो रही है इसलिए वहाँ कुछ खास नहीं है। अगली त्वरित पहचान आती है। यह कहती है कि अभी भी वास्तव में कोई नाम नहीं है।
00:05:02हमारा एजेंट इसके साथ चलता है और वहाँ जारी रखता है।
00:05:06अब अधिक संदर्भ वापस आता है। एजेंट को ऐसा लगता है कि कोई नाम होना चाहिए।
00:05:11यह इसकी वर्तनी बताने के लिए कहेगा क्योंकि यह शायद सोच रहा है कि यहाँ कुछ ट्रांसक्रिप्शन त्रुटि है।
00:05:16अभी भी कोई नाम या जन्म तिथि नहीं है। और फिर अंत में यह याद रखें कि यह हमारा सुधारा हुआ
00:05:22ट्रांसक्राइबर से, स्क्राइब v2 से अंतिम त्वरित पहचान है।
00:05:27यहाँ हमारी उत्सुक एजेंट पीढ़ी जो बिना किसी टूल कॉल के बनाई गई थी, उसे रद्द कर दिया जाएगा
00:05:34क्योंकि बैकग्राउंड एजेंट अंततः वह नाम और जन्म तिथि खोजने में सक्षम हो जाता है जिसकी उसे तलाश है।
00:05:38इसलिए यह फिर से ट्रिगर होगा और अब एजेंट के पास वास्तव में वह संदर्भ है जिसकी उसे आवश्यकता है।
00:05:45और आप यहाँ देखते हैं कि यह एक तरह से हम इसे कर रहे हैं। यहाँ टूल कॉल थोड़ा सा है
00:05:49वहाँ कुछ बुद्धिमत्ता। हम नाम की गलत ट्रांसक्रिप्शन को सुधारने जा रहे हैं,
00:05:53यहाँ कुछ ध्वन्यात्मक (फोनेटिक) मिलान कर रहे हैं।
00:05:57और हाँ और फिर हम एक बार समझ जाएंगे कि यह उपयोगकर्ता के बोलने का अंत है,
00:06:02हम इसे बाहर कर देंगे। तो काफी मानक है।
00:06:06ठीक है और फिर यहाँ अगली परत टेक्स्ट-टू-स्पीच होने जा रही है। तो टेक्स्ट-टू-स्पीच के साथ लक्ष्य
00:06:12एजेंट ने जो कहा उसे लेना है और एजेंट इसे स्ट्रीमिंग तरीके से
00:06:16शैली में। इसलिए हमें जितनी जल्दी हो सके ऑडियो तैयार करने की आवश्यकता है। और आदर्श रूप से आप क्या कर सकते हैं
00:06:24इससे पहले कि एजेंट ने पूरा पाठ तैयार करना समाप्त भी कर लिया हो, आप ऑडियो चला सकते हैं। तो यह एक तरह का है
00:06:31generation समाप्त होने की लेटency को छुपाना। तो मैं एक तरह का स्ट्रीमिंग चलाने जा रहा हूँ
00:06:39स्ट्रीमिंग एजेंट आउटपुट अब। तो यह U से शुरू होता है। और वास्तव में इससे पहले कि मैं आगे जाऊँ
00:06:46यहाँ हम एक नई अवधारणा पेश कर रहे हैं जिसे प्रीफ़िक्स कैश कहा जाता है। तो प्रीफ़िक्स कैश होने जा रहा है
00:06:52एजेंट स्ट्रीम को देखना और देखना कि क्या हमारे पास शब्दों के उस अनुक्रम के लिए पहले से ही ऑडियो तैयार है
00:07:02जैसे किसी पूर्व पीढ़ी से या शायद इस कॉल में भी उसी पीढ़ी की तरह।
00:07:10तो यह U शब्द देखता है। इस प्रीफ़िक्स कैश के लिए हम ऐसे होने जा रहे हैं जैसे हम ऐसा नहीं करना चाहते हैं
00:07:17हर एक शब्द पर तुरंत हिट करें। हम थोड़े और शब्दों का इंतजार करने जा रहे हैं। तो उसके बाद
00:07:24तीन शब्दों के बाद प्रीफ़िक्स कैश को हमारा पहला हिट मिलता है। और यहाँ दाईं ओर यह हमारा एक तरह का है
00:07:31टेक्स्ट-टू-स्पीच मानक प्रदाता आप जानते हैं कि कार्टेसिया WebSocket समर्थन के साथ एक टेक्स्ट-टू-स्पीच इंजन है।
00:07:36इसलिए हम एजेंट को कैश के माध्यम से पाइप कर रहे हैं और इसे WebSocket के माध्यम से भी पाइप कर रहे हैं।
00:07:45अधिक टोकن आते हैं, अधिक कैश, WebSocket पर अधिक भेजना। यहाँ कहने के लिए ज़्यादा कुछ नहीं है।
00:07:51और ठीक है तो अब हमें अपनी पहली तरह की पहली अनूठी चीज़ मिलती है जो यह है कि हमें एक ऐसा टोकन मिला है जो वास्तव में
00:07:59कैश मिस का कारण बनता है। यह समझ में आता है कि क्या हम पिछली पीढ़ियों को कैश कर रहे हैं। आपने कहा कि आपका नाम
00:08:05है एक बहुत ही आम बात है लेकिन एक बार जब हम नाम जोड़ देते हैं तो अचानक यह कैश मिस का परिणाम बन जाता है।
00:08:12इस बिंदु पर हम वास्तव में अपना कैश्ड ऑडियो देने जा रहे हैं। तो आपने कहा कि आपका नाम है होने जा रहा है
00:08:19जैसे ही बाकी का स्ट्रीमिंग टेक्स्ट वापस आ रहा है, वैसे ही उत्सर्जित किया जाता है। तो इस बिंदु पर उपयोगकर्ता एजेंट को सुनता है।
00:08:25उपयोगकर्ता वास्तव में नहीं जानता कि क्या चल रहा है। यह उन्हें सिर्फ बहुत तेज़ प्रतिक्रिया समय की तरह लगता है।
00:08:32और अब एक तरह का शेष पाठ प्रवाहित होता है। और इस बिंदु पर हमने पहले ही कैश से बाहर कर दिया है।
00:08:38कैश ने अपना काम कर दिया है। बाकी को हम कार्टेसिया में फेंक सकते हैं। और यहाँ एक तरह की चाल है
00:08:46जहाँ कार्टेसिया ने इस बिंदु तक पूरे ट्रांसक्रिप्ट को देखा है। कार्टेसिया की तरह इसे पता नहीं है
00:08:56इस प्रीफ़िक्स कैश के अस्तित्व के बारे में। यह सिर्फ इस पूरे वाक्य को आपके साथ तैयार करने जा रहा है
00:09:01मानक प्राकृतिक प्रोसोडी। लेकिन हम क्या करते हैं जब पीढ़ी वापस आती है क्योंकि हम पहले ही खेल चुके हैं
00:09:08यहाँ ऑडियो हम वास्तव में यहाँ कार्टेसिया से ऑडियो को दबा सकते हैं। और बस शेष सामान बाहर चलाओ।
00:09:13तो उपयोगकर्ता वहाँ एक छोटी सी बाधा हो सकती है। आप जानते हैं कि मैं बाद में कुछ ऑडियो चलाऊँगा और आप करेंगे
00:09:21जानते हैं कि आप शायद ध्यान नहीं दे पाएंगे। और प्रभावी रूप से हम एक तरह से इसे ले रहे हैं और
00:09:28या इस भाग को ले रहे हैं और इस ऑडियो के समाप्त होने के ठीक बाद इसे उत्सर्जित कर रहे हैं। तो यह उपयोगकर्ता के लिए सहज लगता है।
00:09:35और हाँ, तो मुझे लगता है कि इस बिंदु पर ये बहुत सारे तकनीकी विवरण हैं। मुझे लगता है कि सबसे अच्छा तरीका है
00:09:43बस एक कॉल चलाना और इसे क्रियान्वित होते देखना है। तो यहाँ मैंने एक कॉल रिकॉर्ड की है और आइए सुनते हैं कि क्या होता है।
00:09:53तो यहाँ हम आपसे बात करने जा रहे हैं। यह बो है, स्त्री रोग विशेषज्ञ (OB-GYN)। एलिसा बोल रही हूँ।
00:09:59नमस्ते, मुझे लगता है कि मैं गर्भवती हो सकती हूँ और इसकी पुष्टि के लिए अल्ट्रासाउंड शेड्यूल करना चाहती हूँ।
00:10:03यह रोमांचक खबर है। क्या आप अपना नाम और जन्म तिथि बता सकती हैं?
00:10:08ज़रूर, यह एलिसा ट्रेल है। जन्म तिथि, 2303।
00:10:15शुक्रिया। क्या आप हमारे यहाँ नई मरीज़ हैं?
00:10:24हाँ। बो ओबी-गायनी में आपका स्वागत है। क्या मैं आपको अपनी बीमा जानकारी अपलोड करने के लिए एक लिंक टेक्स्ट कर सकती हूँ?
00:10:34ज़रूर। ठीक है। भेज दिया। मुझे बताएं जब आपको यह मिल जाए।
00:10:48मुझे आपकी बीमा जानकारी मिल गई है। मेरे पास जो सबसे पहली अपॉइंटमेंट उपलब्ध है, वह है गुरुवार,
00:10:532 जुलाई को सुबह 10 बजे। असल में, मुझे एक सेकंड दीजिए। मुझे अपना कैलेंडर देखने दीजिए।
00:11:01ज़रूर। आराम से लें। क्या आपके पास अगले हफ़्ते के लिए कुछ है?
00:11:09अगले हफ़्ते के लिए, मैं मंगलवार को नॉर्थ क्लिनिक में डॉ. एवरी स्टोन के साथ अल्ट्रासाउंड की पेशकश कर सकती हूँ,
00:11:147 जुलाई को दोपहर 2 बजे या 3 बजे। क्या इनमें से कोई भी आपके लिए सही रहेगा?
00:11:20हाँ, दोपहर 2 बजे ठीक है। बढ़िया। आपकी अपॉइंटमेंट बुक कर दी गई है। हम तब आपसे मिलने के लिए उत्सुक हैं।
00:11:29धन्यवाद। अलविदा। ठीक है। हाँ, बस इतना ही है।
00:11:35हाँ, आप देख सकते हैं कि यह सब -- यह सारा स्ट्रीमिंग और, जानते हैं, बहुत सी चीजें
00:11:43बैकग्राउंड में हो रही हैं। और, हाँ, यही वह चीज़ है जो वास्तव में वॉयस एजेंट्स को दिलचस्प बनाती है।
00:11:48और हार्नेस में बहुत प्रयास किए जा सकते हैं ताकि वास्तव में एक
00:11:55प्राकृतिक बातचीत प्राप्त की जा सके, जिसकी हमें तलाश है।
00:11:59ठीक है। हाँ। तो, मुझे लगता है, संक्षेप में, जानते हैं, आखिरी हिस्से में, मैं थोड़ी बात करना चाहता हूँ
00:12:04एलिसा के बारे में। तो मुझे लगता है एलिसा, जानते हैं, हमारा मुख्यालय न्यूयॉर्क में है, और हम प्रकार से
00:12:09यहाँ बे एरिया में अपनी उपस्थिति का विस्तार करने की कोशिश कर रहे हैं। हमारे पास -- मुझे लगता है कि यह शायद एक अलग शैली है
00:12:15ऐसी कंपनी की जिसके बारे में मुझे लगता है कि लोग -- सैन फ्रांसिस्को में AI स्टार्टअप्स के बारे में सोचते समय सोचते हैं,
00:12:23जहाँ हम वास्तव में सिर्फ लोगों की मदद करने पर बहुत ध्यान केंद्रित कर रहे हैं और लोगों की वहाँ मदद करने पर जहाँ उन्हें इसकी ज़रूरत है,
00:12:31जैसे जीवन के सबसे महत्वपूर्ण क्षेत्र। हम आवास, स्वास्थ्य सेवा पर काम करते हैं, और हम वास्तव में बहुत अच्छा कर रहे हैं,
00:12:37और, जानते हैं, यहाँ -- हमारी टीम में शामिल होने के लिए यहाँ एक लिंक है, और यहाँ -- हम
00:12:45ट्विटर पर बहुत कुछ पोस्ट करने जा रहे हैं, इसलिए आप @Elyse.ai पर भी हमें फॉलो कर सकते हैं। हाँ, बस इतना ही।
00:12:57तो, हम ट्विटर पर थोड़ा और पोस्ट करने जा रहे हैं, और हम ट्विटर पर थोड़ा और पोस्ट करने जा रहे हैं।
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기