ذكاء صنائي صوتي حيث سؤال واحد خاطئ يكسر القواعد - شيف إنداب، أبستارت وبروك هوبكنز، كوفال
Original · Voice AI Where One Wrong Question Breaks the Rules - Shiv Indap, Upstart & Brooke Hopkins, Coval
Key Takeaway
تتطلب إدارة الوكلاء الصوتيين في القطاعات الخاضعة للرقابة بناء حلقة تقييم مستمرة ومراجعة بشرية منظمة لضمان الامتثال ومنع المخاطر التنظيمية.
Highlights
تجري شركة أبستارت آلاف المكالمات يومياً باستخدام وكلاء صوتيين ضمن قطاع إقراض خاضع لتنظيم صارم.
ارتفع معدل التوافق بين المراجع البشري ونموذج الحكم اللغوي من 33 بالمئة إلى 92 بالمئة بفضل تحسين المعارف والتقييمات.
أدى الاعتماد على جداول بيانات جوجل التقليدية لمراجعة المكالمات إلى فوضى في البيانات وزيادة عشوائية في الأعمدة خلال أسابيع قليلة.
تعتمد عملية المحاكاة من صوت إلى صوت على اختبار أصوات الخلفية، واللهجات، والمقاطعات قبل نشر أي تحديث للإنتاج.
Timeline
إطلاق الوكلاء الصوتيين في قطاع الإقراض
تتطلب طبيعة قطاع الإقراض التزاماً تاماً بالقواعد واللوائح التنظيمية لتجنب أي مشكلات قانونية عند التفاعل مع المقترضين. تتضمن حالة الاستخدام المبتكرة التحقق من هوية المتصل وطرح أسئلة محددة حول مصادر الدخل والغرض من الأموال والالتزامات القائمة. تمنع الضوابط التنظيمية الاستفسار عن مبالغ الأموال المخصصة لأغراض طبية بينما تتطلب تفاصيل دقيقة لأغراض أخرى مثل السفر.
- تدير شركة أبستارت آلاف المكالمات الصوتية يومياً في قطاع الإقراض الخاضع لتنظيم صارم.
- تتم أتمتة مكالمات التحقق للنسبة المتبقية البالغة عشرة بالمئة من المتقدمين عبر طرح ثلاثة أسئلة رئيسية.
- تفرض اللوائح التنظيمية قيوداً صارمة على المعلومات التي يمكن للسؤال عنها بناءً على غرض استخدام الأموال.
تحديات المراجعة البشرية وتطور المقاييس
استدعت الحاجة إلى تتبع الأداء ومراقبة المكالمات الانتقال من جداول البيانات العشوائية إلى نظام مراجعة بشري منظم. تتضمن المقاييس الأساسية الدقة والوضوح والاكتمال والتوافق مع السياسات ورضا العملاء. ساهم تحليل الفجوات ومعالجة المعارف المتراكمة غير المبرمجة في رفع دقة توافق المراجعات بشكل ملحوظ بمرور الوقت.
- بدأت عملية مراجعة المكالمات باستخدام جداول بيانات جوجل التي تحولت بسرعة إلى بيئة غير منظمة.
- يستخدم نموذج لغوي كبير كحكم فوري لتقييم استيفاء متطلبات الامتثال بنعم أو لا مع توضيح مرفق.
- ارتفع معدل التوافق بين الحكم البشري ونموذج الحكم اللغوي من 33 بالمئة إلى 92 بالمئة عبر ترميز المعرفة الضمنية.
حلقة التحسين المستمر والمحاكاة
تضمن حلقة التحسين المستمر تقييم جودة المنتج بانتظام عبر تحديد المقاييس واكتشاف الإخفاقات وإرسالها لفرق الامتثال أو الهندسة. تمنع اختبارات المحاكاة الصوتية المتقدمة المخاطر الناتجة عن نشر التحديثات مباشرة في بيئة الإنتاج. تساهم هذه العمليات المتكاملة في نشر أنظمة مستقلة دقيقة وقوية وموثوقة قادرة على التوسع في الصناعات الخاضعة للرقابة.
- تعتمد منصة كوفال على مراقبة المكالمات الحية واكتشاف أنماط الفشل وتوجيهها لفرق العمل المختصة.
- تجري اختبارات المحاكاة من صوت إلى صوت للتحقق من أداء الوكيل مع اللهجات والخلفيات المختلفة قبل التأثير على المستخدمين.
- تخضع التغييرات والتحسينات دائماً لرقابة بشرية واعتماد رسمي من فرق الهندسة أو الامتثال عبر علم مميز للميزات.
Description
Upstart handles thousands of lending calls a day, where one wrong question can become a regulatory problem. Shiv Indap, who leads voice AI at Upstart, and Brooke Hopkins, founder of Coval and former head of evaluation infrastructure at Waymo, walk through automating loan verification calls: the compliance traps, outgrowing a Google Sheet for human review, and raising agreement between the LLM judge and human reviewers from 33% to 92%. Then they lay out the full loop from live monitoring and human review queues to re-simulating fixes and self-healing agents, with every change still signed off by a human. Chapters: 0:00 Intro 1:02 Voice AI at Upstart 2:11 Automating verification calls 3:04 Where compliance gets tricky 4:14 Outgrowing the Google Sheet 5:28 Metrics and LLM judges 7:03 From 33% to 92% judge agreement 8:52 The continuous improvement loop 10:04 Defining metrics 10:51 Monitoring live calls 12:31 Re-simulating fixes before production 14:04 Self-healing agents 15:11 Wrap-up: humans stay in the loop Shiv Indap https://www.upstart.com Brooke Hopkins https://www.coval.dev Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!