Как написать вашу первую ИИ-оценку — СаллиАнн ДеЛюсия, Arize AI

하이라이트

• Субъективные проверки без формализованных оценок приводят к незаметным регрессиям при смене промптов или версий моделей.

• Оценки на базе LLM-судей надежнее всего работают при проверке строго одного критерия за один прогон.

• Фреймворк спецификации критериев требует фиксации задачи, условий успеха, условий сбоя и по три детальных пункта для каждого исхода.

• Система оценок масштабируется итеративно: внутренний агент Alex начинал с базовых проверок, а в продакшне использует 32 критерия.

• Метрики лишь сигнализируют о наличии сбоя, тогда как оценки раскрывают точную причину и характер ошибки.

타임라인

1. 00:00 - 04:13

   Несостоятельность субъективных проверок и отличие оценок ИИ от unit-тестов

   Попытки оценивать работу агента интуитивно приводят к повторному возникновению старых ошибок уже через неделю после релиза. Без формализованных критериев нельзя выстроить строгие quality gates в CI-пайплайнах или подтвердить преимущества новой версии модели. Сложная внутренняя цепочка рассуждений агента видна только в трассировках, поэтому оценка должна опираться на полную наблюдаемость системы.

   • Ручные визуальные проверки делают невозможным объективное выявление регрессий при изменении промптов.
   • Традиционные модульные тесты неприменимы к агентам из-за множества валидных путей решения и недетерминированного вывода.
   • Трассировки выполняют роль логов для ИИ, а оценки выступают аналогом сквозного тестирования.
2. 04:13 - 07:28

   Анатомия спанов и структура трассировок мультиагентных систем

   Дерево выполнения начинается с корневого спана без родительского идентификатора, разветвляясь на вызовы исследовательских агентов, LLM и сторонних API. Помимо LLM-судей существуют легковесные модели принятия решений, агентные судьи для комплексных сценариев и проверки на базе кода. Первые четыре типа оценок закладываются на стадии разработки и сохраняют актуальность на всем жизненном цикле продукта.

   • Трассировка фиксирует каждый шаг мультиагентного графа от корневого спана до вызова отдельных инструментов.
   • LLM в роли судьи возвращает категориальную метку вместе с детальным текстовым объяснением.
   • Оценки кода подходят для детерминированных структурных проверок формата JSON и регулярных выражений.
3. 07:28 - 19:02

   Подготовка окружения и инвентаризация входных данных трассировки

   На примере агента планирования путешествий анализируются конкретные пользовательские параметры: трехдневный маршрут в Прагу, бюджет 800 долларов и упор на нетуристические места. В дереве спанов прослеживается разделение шагов: сначала один вызов LLM определяет подходящий инструмент, а затем второй суммирует полученную температуру и локации. Пакеты OpenInference позволяют интегрировать произвольные фреймворки вроде LangGraph без жесткой привязки к конкретной инфраструктуре.

   • Для оценки достаточно подключить любой совместимый API-эндпоинт через консоль провайдера.
   • Анализ поведения агента начинается с инвентаризации конкретных атрибутов пользовательского запроса.
   • Инструментирование автоматически собирает метаданные ввода, вывода и контекста каждого шага.
4. 19:03 - 25:21

   Методология формализации критериев и правило одной переменной

   Размытые формулировки о полезности заменяются точными проверками соблюдения заданного бюджета и дат. Исследования показывают резкое падение надежности судейства, когда от одной языковой модели требуют одновременного контроля нескольких несвязанных метрик. Детализированный список из трех условий успеха и трех сценариев отказа служит прямой основой для составления системного промпта оценщика.

   • Критерии успеха должны содержать измеримые факты вместо субъективных терминов качества.
   • Каждая отдельная оценка LLM-судьей обязана фокусироваться строго на одном параметре.
   • Шаблон формулирования оценки включает задачу, определение успеха, определение сбоя и по три подтверждающих пункта.
5. 25:22 - 32:07

   Построение датасета и валидация промпта в песочнице

   Для проверки итоговых планов в набор данных отбираются корневые спаны с нулевым parent ID, а для валидации внешних вызовов отфильтровываются спаны инструментов. Промпт оценщика четко распределяет метки соответствия и настраивает направление оптимизации вместе с генерацией обоснования. Запуск недорогой модели вроде gpt-4o-mini на сохраненном датасете позволяет мгновенно проверить сходимость судейских меток с ожиданиями инженера.

   • Фильтрация спанов по типу или имени позволяет сформировать целевой набор данных для тестирования.
   • Сопоставление переменных отделяет формулировку критерия от конкретной схемы именования атрибутов в коде.
   • Песочница промптов дает возможность итеративно корректировать инструкции судьи на реальных примерах.
6. 32:08 - 35:18

   Замыкание цикла: выравнивание с человеком и непрерывный мониторинг

   Развитие инфраструктуры оценок требует вовлечения всех участников создания продукта, от безопасности до клиентской поддержки. Мониторинг в продакшне автоматически прогоняет поступающие данные через настроенный пул судей, формируя доказательную базу работы агента. Полноценная система качества строится от компактной выборки в 20 трейсов к непрерывным онлайн-проверкам.

   • Автономные агенты помогают находить сбои и автоматически дорабатывать формулировки проверок.
   • Выравнивание заключается в калибровке автоматических судей по размеченным вручную человеческим оценкам.
   • Онлайн-оценки запускаются синхронно с каждым новым входящим трейсом в рабочей среде.