스크립트
00:00:00اسمى بو. سأقدم لكم اليوم وكلاء الصوت الفوريين مع الذكاء
00:00:18الرائد. سنتحدث فعلياً قليلاً عن كيف قمنا نحن في
00:00:22شركة إليز للذكاء الاصطناعي بتصميم نظام وكيل الصوت الخاص بنا للحصول على صوت فوري مع
00:00:28مستوى الذكاء الرائد الذي نحتاجه. لذا قبل أن أبدأ، أردت
00:00:36أن عقد بعض المقارنات حول سبب قرارتنا بالاعتماد على وكلاء صوت متسلسلين
00:00:42ومقارنة ذلك بشكل خاص بالسيارات ذاتية القيادة التي كنت أعمل عليها
00:00:48سابقاً. لذا بالنسبة لي، تبدو وكلاء الصوت المتسلسلون منطقية للغاية عندما تنظر إليها من
00:00:53منظور تقسيمها إلى مرحلة الإدراك، والتي بالنسبة للسيارات ذاتية القيادة
00:00:59تكون كما تعلم مربعات الإحاطة، والكاميرا، والليدار. أما بالنسبة للصوت، فستكون
00:01:05عملية النسخ الصوتي، أي تحويل هذه الإشارات من العالم الحقيقي
00:01:09إلى عناصر بيانات يمكن لنموذج اللغوي أو أي عقل تعمل عليه أن
00:01:17يعالجها. والثانية هي طبقة التخطيط وهي واضحة جداً.
00:01:23هنا يأخذ النموذج اللغوي مخرجات مرحلة الإدراك وينتج
00:01:29المخرجات التي تريد إنتاجها مرة أخرى إلى العالم الحقيقي. وأخيراً، هناك طبقة
00:01:36التحكم حيث تأخذ في السيارات ذاتية القيادة المسار الذي يخرجه المخطط وتقوم بطريقة ما
00:01:43بتحويله إلى ضوابط حقيقية لقيادة السيارة. وهنا نقوم بتحويل النص إلى
00:01:50صوت نستخدمه للتعبير عن أفكار وكلاء الصوت لدينا. ونعم، سأتعمق هنا في كل عنصر من
00:02:00هذه العناصر، وقد قمنا ببعض الحيل المثيرة للاهتمام في كل من هذه المجالات
00:02:08لتحسين سرعة وكلاء الصوت لدينا دون التضحية بالذكاء.
00:02:13لذا فإن الأولى ستكون طبقة الناسخ. لقد توصلنا إلى هذا المفهوم المسمى
00:02:19الناسخ التخميني البثي، حيث نقوم فعلياً بطبقات ناسخ بثي سريع
00:02:24مثل flux فوق أو نوعاً ما تحت scribe v2 أو ناسخ دفعي دقيق
00:02:33يستوعب سياقاً أكبر. وهو أبطأ قليلاً ولكنه سيعطيك اكتشافات أكثر دقة.
00:02:39لذا دعنا نستعرض إعداداً الآن، في هذه الحالة طلب الوكير للتو توفير
00:02:44هل يمكنك كتابة اسمك وتاريخ ميلادك؟ وسيقول المستخدم هذا وسنرى كيف يتكشف ذلك
00:02:49من حيث التوقيت. أولاً سنحصل على اكتشاف الشاطئ. سنحصل عليه من
00:02:57طبقة البث. طبقة الدقة والطبقة التصحيحية لن تعمل لأن النص هو نفسه.
00:03:05سنحصل على المزيد من اكتشافات النصوص البثية وفي هذه الحالة الطبقة التصحيحية
00:03:11ملغاة في الواقع لأننا حصلنا على نص جديد، لذا فإن المزيد من السياق والصوت سيتفوق على النص الدقيق القديم.
00:03:21وهنا يأتي التصحيح الأول. نظراً لأن طبقة scribe v2 تفهم
00:03:27سياق السؤال، فهي قادرة على فهم أن هذا يتحدث عن اسم وهذا تاريخ ميلاد.
00:03:34ثم اكتشافان آخران. هذه مجرد علامات ترقيم. لا تهمنا.
00:03:37وفي النهاية نقوم بنشر هذا النص إلى الوكيل.
00:03:44والانتقال إلى نموذج اللغة هناك. نظراً لأننا نستخدم هذه النماذج اللغوية الكبيرة البطيئة ولكن
00:03:52الذكية، فإننا نريد حقاً تقليل عدد الرحلات ذهاباً وإياباً، والشيء الذي يجعلنا نقوم بـ
00:03:58الكثير من الاستدلالات هو استدعاء الأدوات. لذا فإن إحدى الطرق للتخلص من ذلك هي جعل وكلاء الخلفية يقومون باستدعاء الأدوات
00:04:05من أجلك ودفع الأدوات مرة أخرى إلى سياق الوكيل الرئيسي بحيث يعتقد أنه
00:04:13قام باستدعاء الأداة بينما لم يفعل حقاً. لذا تذكر من الاكتشاف السابق. إذن ما سيحدث هو أن كل اكتشاف من هذه الاكتشافات سيؤدي إلى
00:04:26توليد مبكر للوكيل ولن نقوم بإصدار هذا حتى نتأكد من أن
00:04:38المستخدم قد انتهى من التحدث. في هذه الحالة يقول المستخدم بالتأكيد. الوكيل يعلم نوعاً ما أن المستخدم على وشك قول شيء آخر.
00:04:45استدعاء الأداة في الخلفية هنا والذي سيساعدنا في معرفة الاسم وتاريخ الميلاد من اكتشاف المستخدم
00:04:51لا يعمل، لذا لا يوجد شيء كثير هناك. يأتي الاكتشاف الفوري التالي. يقول إنه ليس اسماً حقاً.
00:05:02وكيلنا يتماشى مع الموقف ويستمر هناك.
00:05:06الآن يعود المزيد من السياق. يشعر الوكيل وكأن يجب أن يكون هناك اسم.
00:05:11سيطلب تهجئته لأنه على الأرجح يظن أن هناك خطأ في النسخ هنا.
00:05:16لا يوجد اسم أو تاريخ ميلاد حتى الآن. ثم أخيراً تذكر أن هذا هو اكتشافنا الفوري
00:05:22المصحح النهائي من الناسخ من scribe v2.
00:05:27هنا سيتم إلغاء توليد وكيلنا المتحمس الذي تم إنشاؤه بدون أي استدعاءات أدوات
00:05:34لأن وكيل الخلفية تمكن أخيراً من العثور على الاسم وتاريخ الميلاد الذي يبحث عنه.
00:05:38لذلك سيقوم بإعادة التشغيل والآن يمتلك الوكيل السياق الذي يحتاجه.
00:05:45وترى هنا أننا نقوم بذلك. استدعاء الأداة هنا هو قليل من
00:05:49الذكاء. سنقوم بتصحيح أخطاء النسخ للاسم،
00:05:53ونقوم ببعض المطابقة الصوتية هنا.
00:05:57ونعم، بمجرد أن ندرك أن هذه هي نهاية كلام المستخدم،
00:06:02سنقوم بإصداره. إذن الأمر قياسي تماماً.
00:06:06حسناً، الطبقة التالية هنا ستكون تحويل النص إلى كلام. مع تحويل النص إلى كلام، الهدف
00:06:12هو أخذ ما قاله الوكيل وسيصدره الوكيل بطريقة
00:06:16بثية. لذلك سحتاج إلى إنتاج الصوت في أسرع وقت ممكن. وما يمكنك فعله بشكل مثالي هو
00:06:24قبل أن ينتهي الوكيل حتى من إنشاء النص بالكامل، يمكنك تشغيل الصوت. لذا فهو نوع من
00:06:31إخفاء زمن انتقال إنهاء الإنشاء. سأقوم بتشغيل البث
00:06:39مخرجات وكيل البث الآن. يبدأ بكلمة U. وقبل أن أتعمق أكثر، هناك
00:06:46هذا المفهوم الجديد الذي نقدمه هنا والذي يسمى التخزين المؤقت للبادئة. التخزين المؤقت للبادئة
00:06:52سينظر في دفق الوكيل ومعرفة ما إذا كنا قد أنشأنا صوتاً بالفعل لتسلسل الكلمات هذا
00:07:02من إنشاء سابق أو ربما نفس الإنشاء في هذه المكالمة أيضاً.
00:07:10لذا فهو يرى كلمة U. بالنسبة للتخزين المؤقت للبادئة هذا، لن
00:07:17نصطدم بكل كلمة فوراً. سننتظر المزيد من الكلمات قليلاً. بعد
00:07:24ثلاث كلمات، يحصل التخزين المؤقت للبادئة على أول ضربة ناجحة. وهنا على المين، هذا هو مزود
00:07:31تحويل النص إلى كلام القياسي الخاص بنا، كما تعلم، Cartesia هو محرك تحويل نص إلى كلام يدعم WebSocket.
00:07:36لذا فإننا نوجه الوكيل عبر ذاكرة التخزين المؤقت وأيضاً عبر WebSocket.
00:07:45المزيد من الرموز تأتي، والمزيد من ذاكرة التخزين المؤقت، والمزيد من الإرسال إلى WebSocket. لا يوجد الكثير يقال هنا.
00:07:51وحسناً، الآن نحصل على أول شيء فريد من نوعه وهو أننا وجدنا رمزاً يتسبب في الواقع
00:07:59في خطأ في ذاكرة التخزين المؤقت. من المنطقي إذا كنا نخزن عمليات الإنشاء السابقة مؤقتاً. لقد قلت إن اسمك
00:08:05هو أمر شائع جداً، ولكن بمجرد أن نضيف الاسم، سيؤدي ذلك فجأة إلى خطأ في ذاكرة التخزين المؤقت.
00:08:12في هذه النقطة سنصدر صوتنا المخزن مؤقتاً. لذا فإن عبارة “لقد قلت إن اسمك هو” سيتم
00:08:19إصدارها بينما يعود باقي النص البثي. في هذه النقطة يسمع المستخدم الوكيل.
00:08:25المستخدم لا يدري حقاً ما يجري. تبدو له كأوقات استجابة سريعة حقاً.
00:08:32والآن يتدفق النص المتبقي. وفي هذه النقطة لقد قمنا بالفعل بالإصدار من ذاكرة التخزين المؤقت.
00:08:38قامت ذاكرة التخزين المؤقت بوظيفتها. يمكننا إلقاء الباقي في Cartesia. وهنا تكمن الحيلة
00:08:46حيث رأت Cartesia النص بأكمله حتى هذه النقطة. بالنسبة لـ Cartesia فهي لا تعرف
00:08:56وجود ذاكرة التخزين المؤقت للبادئة هذه. ستنشئ هذه الجملة الكاملة مع
00:09:01التنغيم الطبيعي القياسي. ولكن ما نقوم به هو أنه عندما يعود الإنشاء وبما أننا شغلنا
00:09:08الصوت هنا، يمكننا في الواقع كتم الصوت القادم من Cartesia هنا. وتشغيل الأشياء المتبقية فقط.
00:09:13لذا قد تكون هناك عقبة بسيطة للمستخدم. كما تعلم، سأشغل بعض الصوت لاحقاً وستعلم
00:09:21أنك لن تتمكن من ملاحظة ذلك على الأرجح. وفعلياً نحن نأخذ هذا و
00:09:28أو نأخذ هذا الجزء ونقوم بإصداره مباشرة بعد انتهاء تشغيل هذا الصوت. لذا يبدو الأمر سلساً للمستخدم.
00:09:35ونعم، أعتقد في هذه النقطة أن هذه الكثير من التفاصيل التقنية. أعتقد أن أفضل طريقة هي
00:09:43فقط تشغيل مكالمة ورؤية هذا قيد التنفيذ. لذا هنا قمت بتسجيل مكالمة ودعنا نسمع ما يحدث.
00:09:53لذا هنا سن التحدث إليكم يا شباب. هذا بو، طبيب نساء وتوليد. إليز تتحدث.
00:09:59مرحباً، أعتقد أنني قد أكون حاملاً وأريد حجز موعد لفحص بالموجات فوق الصوتية للتأكد.
00:10:03هذه أخبار مثيرة. هل يمكنك تزويدي باسمك وتاريخ ميلادك؟
00:10:08بالتأكيد، إليز تريل. تاريخ الميلاد، 2303.
00:10:15شكراً لك. هل أنت مريضة جديدة لدينا؟
00:10:24نعم. أهلاً بك في عيادة بو للنساء والتوليد. هل يمكنني إرسال رابط لك عبر الرسائل النصية لتحميل معلومات التأمين الخاصة بك؟
00:10:34بالتأكيد. حسناً. تم الإرسال. أبلغيني عندما تتلقينه.
00:10:48لقد تلقيت معلومات التأمين الخاصة بك. أقرب موعد لدي هو يوم الخميس،
00:10:532 يوليو الساعة 10 صباحاً. في الواقع، اعطني ثانية. دعني أتحقق من تقويمي.
00:11:01بالتأكيد. خذ وقتك. هل لديك شيء للأسبوع القادم؟
00:11:09بالنسبة للأسبوع القادم، يمكنني تقديم موعد للموجات فوق الصوتية مع الدكتور أفري ستون في عيادة نورث يوم الثلاثاء،
00:11:147 يوليو في تمام الساعة 2 ظهراً أو 3 عصراً. هل يناسبك أي منهما؟
00:11:20نعم، الساعة 2 ظهراً تناسبني. رائع. تم حجز موعدك. نتطلع لرؤيتك حينها.
00:11:29شكراً. مع السلامة. حسناً. نعم، هذا كل ما في الأمر تقريبا.
00:11:35نعم، يمكنك نوعاً ما رؤية كل هذا البث، وكما تعلم، الكثير من الأمور
00:11:43تحدث في الخلفية. ونعم، هذا ما يجعل الوكلاء الصوتين مثيرين حقاً.
00:11:48وهناك الكثير من الجهد الذي يمكن بذله في النظام حقاً للحصول على
00:11:55محادثة طبيعية، وهو ما نسعى إليه.
00:11:59حسناً. نعم. إذن، أعتقد باختصار، كما تعلم، في الجزء الأخير، أريد فقط التحدث قليلاً
00:12:04عن إليز. لذا أعتقد أن إليز، كما تعلم، مقرنا الرئيسي في نيويورك، ونوعاً ما نحن
00:12:09نحاول توسيع حضورنا هنا في منطقة الخليج. لقد - أعتقد أنه ربما نمط مختلف
00:12:15من الشركات التي يعتقد الناس أنها - يفكرون فيها عندما يفكرون في الشركات الناشئة للذكاء الاصطناعي في سان فرانسيسكو،
00:12:23حيث نحن في الواقع مركزون جداً فقط على مساعدة الناس ومساعدة الناس حيث يحتاجون
00:12:31إليها، مثل أكثر مناطق الحياة أهمية. نحن نعمل في الإسكان والرعاية الصحية، ونحن نؤدي بلاءً حسناً،
00:12:37وكما تعلم، إليك - يوجد رابط هنا للانضمام إلى فريقنا، وسيكون - سنقوم
00:12:45بالنشر كثيراً على تويتر، لذا يمكنك متابعتنا على @Elyse.ai أيضاً. نعم، هذا كل شيء.
00:12:57لذا، سنقوم بالنشر أكثر قليلاً على تويتر، وسنقوم بالنشر أكثر قليلاً على تويتر.
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기