Как тестировать ИИ-агенты при отсутствии бенчмарков — Натанаэль Вейл, Air Canada

Highlights

• Автоматизация оценки увеличила частоту проверок с одного раза в неделю до десятков раз в день благодаря инвертированию задачи RAG.

• Анализ договоров с поставщиками в компании Air Canada автоматизирован с помощью пяти методов генерации тестовых наборов данных при отсутствии публичных бенчмарков.

• Удаление отдельных пунктов из подписанных эталонных договоров создает наиболее мощный бенчмарк для проверки способности агента находить юридические дефекты.

• Генерация 275 тестовых контрактов на основе конкретных бизнес-правил позволяет автоматизировать проверку соответствия без постоянного привлечения экспертов-юристов.

• Отказ от использования языковых моделей в качестве судей исключает лишний шум в оценках и позволяет полностью положиться на проверки с помощью кода.

Timeline

1. 00:00 - 05:33

   Проблема оценки ИИ-агентов в условиях дефицита бенчмарков

   Корпоративные задачи в таких крупных компаниях, как Air Canada, охватывают операции, коммерцию и программы лояльности, требуя специализированных ИИ-решений. Попытки создать RAG-систему на основе 10 000 документов показывают, что добавление сложных методик из публикаций на практике часто ломает систему вместо улучшения. Ограничение в виде одной экспертной оценки в неделю делает невозможным быстрый перебор гипотез и оптимизацию точности модели.

   • Отсутствие публичных бенчмарков для специфических корпоративных задач и ограниченный доступ к экспертам замедляют разработку ИИ-агентов.
   • Ручная проверка ответов экспертами на еженедельных встречах ограничивает команду одной итерацией в неделю.
   • Наращивание сложности конвейеров RAG часто приводит к поломке ранее работавших функций из-за отсутствия автоматических метрик.
2. 05:33 - 07:50

   Инвертирование проблемы и переход к автоматическим тестам

   Метод синтетической генерации вопросов из текстов документов позволяет полностью автоматизировать оценку без привлечения экспертов. Программное сравнение результатов агента с исходной страницей заменяет субъективные оценки и ускоряет цикл разработки. Наличие надежного тестового датасета обеспечивает стабильный рост точности модели от недели к неделе.

   • Инвертирование процесса RAG заключается в автоматической генерации вопросов из исходных страниц с последующим поиском ответов агентом и программным сравнением.
   • Исключение субъективных мнений экспертов из цикла валидации повысило частоту оценок с одной в неделю до дюжин в день.
   • Наличие собственного тестового набора данных стало ключевым фактором успеха в конкурентной борьбе с другими командами разработчиков.
3. 07:50 - 17:15

   Методы генерации тестовых наборов для анализа договоров

   Проект по анализу контрактов в Air Canada столкнулся с высокой стоимостью рабочего времени юристов и отсутствием готовых бенчмарков. Для решения этой задачи применяется пять методов, включая использование шаблонов с незаполненными полями и симуляцию изменений. Удаление пунктов из подписанных договоров служит самым мощным бенчмарком, так как заставляет агента обнаруживать недостающие требования. Проверка инвариантных изменений гарантирует, что случайные правки адресов или порядка пунктов не искажают итоговый результат.

   • Анализ договоров с поставщиками требует поиска дефектов в тексте для предотвращения серьезных задержек в цепочке поставок.
   • Удаление ключевых пунктов из подписанных эталонных контрактов выявляет случаи, когда агент пропускает нарушения.
   • Генерация 275 тестовых сценариев на основе заданных лимитов и бизнес-правил обеспечивает стабильное покрытие ключевых требований.
   • Изменение второстепенных данных вроде названий поставщиков проверяет стабильность и устойчивость выводов агента.
4. 17:15 - 19:46

   Ограничения судей на базе LLM и роль синтетических тестов

   Прямое сравнение и точное совпадение через код работают быстрее и надежнее, чем привлечение LLM в роли судей, которая сама по себе требует громоздкой обвязки. Экспертные отзывы направляются на улучшение тестовых сценариев и генерацию новых идей по удалению пунктов контрактов. Процесс разработки ИИ-агентов строится на непрерывных циклах улучшения тестов, где синтетическая валидация выступает вспомогательным инструментом ускорения разработки.

   • Использование языковых моделей в качестве судей создает высокий уровень шума, требующий сложной дополнительной настройки.
   • Обратная связь от экспертов используется не для прямого исправления кода агента, а для создания более качественных тестов и промптов.
   • Синтетические тестовые наборы служат инструментом разработчика для поддержки итераций, а не безусловным критерием выпуска продукта.