Голосовой ИИ, где один неверный вопрос нарушает все правила — Шив Индап, Upstart и Брук Хопкинс, Coval

Highlights

• Компания Upstart совершает тысячи звонков ежедневно, автоматизируя верификацию заемщиков с помощью голосового искусственного интеллекта.

• Около 90 процентов заявителей получают кредитные решения мгновенно, тогда как оставшиеся 10 процентов проходят процесс верификации по телефону.

• Согласованность оценок между LLM-судьей и экспертами-людьми выросла с начальных 33 процентов до 92 процентов.

• Симуляции голосовых агентов проводятся в формате голос-в-голос с учетом фонового шума, различных акцентов и прерываний разговора.

• Процесс оценки включает разделение метрик на категории успешности достижения цели, выполнения шагов и качества разговора.

Timeline

1. 00:00 - 06:05

   Специфика голосового ИИ в финтехе

   Автономные голосовые агенты требуют такой же надежности и проверки путей взаимодействия, как и самоуправляемые автомобили. В сфере кредитования любая ошибка агента означает потенциальное нарушение регуляторных норм, а не просто сбой пользовательского опыта. Процесс верификации включает проверку личности, уточнение источников дохода, планов на использование средств и наличие невыполненных обязательств. При этом действуют строгие ограничения: например, запрет на вопросы о точной сумме при медицинских целях или отказ отвечать на вопросы о сроках поступления денег.

   • Компания Koval создает системы оценки для автономных голосовых агентов, применяя подходы из сферы беспилотных автомобилей компании Waymo.
   • Финтех-компания Upstart совершает тысячи звонков ежедневно в условиях строгого регулирования.
   • Автоматизированный агент выполняет звонки для верификации данных клиентов, обрабатывая три основных вопроса и соблюдая жесткие нормативные требования.
2. 06:05 - 08:52

   Метрики и аудит звонков

   После завершения каждого звонка запускается LLM-судья для проверки соблюдения комплаенса и других критериев. Список ключевых метрик со временем был сокращен до точности, понятности, полноты, соответствия политикам, корректности эскалации и CSAT. Ранний аудит выявил проблему расхождения оценок людей и искусственного интеллекта из-за негласных знаний, которые не были заложены в логику. Формализация этих правил и расширение спектра сценариев позволили значительно повысить качество работы судей.

   • Для оценки звонков используется автоматический LLM-судья, выдающий результат с пояснением.
   • Первоначальные попытки ручного аудита через Таблицы Google привели к хаотичному росту столбцов и поломке процесса.
   • Согласованность между оценками людей и LLM-судьи увеличилась с 33% до 92% благодаря устранению негласных знаний и доработке сценариев.
3. 08:52 - 16:57

   Цикл непрерывного улучшения агентов

   Эффективная система оценки требует концентрации на определении реального назначения продукта вместо привязки к техническим ошибкам распознавания слов. Сбои автоматически направляются в нужные отделы: к инженерам или специалистам по комплаенсу. Перед внедрением изменений разработчики проверяют их в симуляциях, учитывающих акценты и фоновые шумы. Такой подход смещает фокус влево по методологии DevOps, позволяя устранять проблемы до того, как они затронут реальных пользователей.

   • Непрерывный цикл включает мониторинг разговоров, определение метрик, ручную проверку сбоев и улучшение агента.
   • Платформа Koval позволяет выявлять как известные паттерны сбоев, так и неизвестные проблемы через кластерный анализ.
   • Исправления тестируются в симуляциях голос-в-голос до их отправки в рабочую среду.