Создать ИИ-агент легко. Доказать его безопасность — нет — Джонатан Осборн, NatWest

Highlights

• Банк NatWest обслуживает 19 миллионов розничных клиентов, а его цифровой ассистент Quora обрабатывает порядка 100 000 диалогов в день.

• Создание ИИ-агента занимает меньше времени и усилий, чем доказательство его безопасности в регулируемой банковской среде.

• Внедрение воронки маршрутизации позволяет отсекать до 20% простых запросов без использования машинного обучения и генеративного ИИ.

• Ручная валидация 111 разговоров по 37 платежным сценариям выявила общий показатель успешности в 83%, при этом на краевых случаях точность падала до 76%, а при смене тем — до 43%.

• Использование единой платформы Comet объединяет Opik для генеративного ИИ и NPM для мониторинга производительности традиционных моделей.

• Теневое развертывание позволяет тестировать новые ИИ-решения на реальных данных клиентов с нулевым риском, помогая получить одобрение от регуляторов и отдела рисков.

Timeline

1. 00:00 - 02:23

   Введение и масштабы банковской среды

   Традиционно ответы в цифровом ассистенте были строго запрограммированы, из-за чего непредусмотренные сценарии приводили к разочарованию клиентов и очереди к живым операторам. Банк начал переводить треть сценариев на RAG и агентов. При таком масштабе клиентов любая ошибка влечет за собой реальные финансовые потери, сложные вопросы от регуляторов и репутационный ущерб.

   • NatWest является вторым по величине розничным банком в Великобритании с 19 миллионов клиентов.
   • Цифровой ассистент Quora обрабатывает около 100 000 диалогов ежедневно.
   • Создание самого ИИ-агента является самой легкой частью задачи по сравнению с доказательством его безопасности.
2. 02:23 - 04:54

   Разница между скриптовыми ботами и ИИ-агентами

   Пример с досрочным погашением ипотеки показывает ограниченность скриптовых систем, которые требуют точного выбора пунктов меню. ИИ-агент успешно находит информацию в базе знаний, однако при смене темы пользователем традиционные регрессионные тесты перестают работать. Из-за генерации текста стандартные методы программной инженерии становятся неэффективными для обеспечения безопасности.

   • Традиционные деревья решений не справляются со сменой тем пользователями во время диалога.
   • ИИ-агенты могут отвечать на любые вопросы, но также могут давать неверные ответы с высокой уверенностью.
   • Выделяется четыре типа сбоев ИИ-агентов: галлюцинации, уязвимость к промпт-инъекциям, бесполезные циклические ответы и недетерминированность.
3. 04:54 - 06:42

   Воронка маршрутизации и защита

   Первым шагом стало построение многоуровневой воронки, куда запросы поступают сверху. Контекстный фильтр отсекает около 20% простых нажатий кнопок. Только прошедшие проверки реплики передаются моделям для классификации намерений и проверки политик, что гарантирует соответствие строгим банковским требованиям.

   • Воронка маршрутизации сокращает зону риска до обращения к языковым моделям.
   • Система включает контекстный фильтр, детерминированные правила предварительной классификации и классификатор намерений на основе эмбеддингов.
   • Архитектура обеспечивает контроль доступа, проверяемость, отказоустойчивость и версионируемое управление.
4. 06:42 - 09:16

   Метрики качества и ручная валидация

   Отказ от единой цифры точности позволяет независимо отслеживать галлюцинации системы и комфорт общения с ней. Анализ данных платежного агента показал отличные результаты на стандартных сценариях, но падение эффективности на нестандартных переходах. Ручная валидация помогла выявить скрытые инженерные проблемы.

   • Оценка качества разделена на вектор из трех категорий: безопасность, задача и впечатление.
   • Ручная проверка 111 разговоров выявила общий показатель успешности 83% при сильном разбросе на краевых случаях.
   • Уровень согласия между людьми-валидаторами составил 95% в объективных вопросах и лишь 64% в субъективной оценке намерений.
5. 09:16 - 14:07

   Автоматизированная оценка и LLM-судья

   Проект внутреннего агента по жалобам задействует обязательные отзывы сотрудников службы поддержки, формируя качественный датасет. Данные фиксируются через стандарт OpenInference и передаются в платформу Comet. Непрерывная оценка встроена в CI/CD для предотвращения регрессий при изменении промптов или контекста.

   • Внутренний агент по работе с жалобами обработал 14 000 обращений с оценками людей и LLM-судьи.
   • Модель-судья становится частью конфигурации, и ее замена может резко исказить результаты оценки.
   • Использование разных семейств моделей для агента и судьи помогает избежать одинаковых слепых зон.
6. 14:07 - 17:52

   Теневое развертывание и релизная стратегия

   Теневой режим решает проблему регуляторного одобрения, позволяя системе классифицировать запросы параллельно со старым скриптовым решением. Активное применение флажков функций дает возможность мгновенно откатить изменения в случае необходимости. Инфраструктура мониторинга объединяет инструменты для генеративного ИИ и классического машинного обучения на одной платформе.

   • Теневое развертывание позволяет собирать производственные данные на реальных запросах клиентов с нулевым риском.
   • Поэтапный запуск реализуется бренд за брендом с помощью глобальных и локальных флажков функций.
   • Непрерывная оценка в производственной инфраструктуре критически важна для безопасного запуска клиентских агентов в регулируемой среде.