Не доверяйте своим ИИ-агентам. Тестируйте их как ученый — Стефани Ярмак, Omni Analytics

하이라이트

• Изменение тестового окружения при сравнении моделей Opus 5 и Astra в OpenHands привело к изменению эффективности более чем на 30%.

• Тестирование поискового инструмента показало снижение затрат на 28% после изменения исходного промпта, но агент все равно не использовал сам инструмент.

• Публичные бенчмарки полезны для составления шорт-листа, но не отражают поведение модели в реальной специфической среде компании.

• При уровне ложных срабатываний системы аудита в 1% и автоматической отправке тревог человеку возникает около 10 000 проверок, что превышает возможности экспертов.

• Независимое сравнение записей истории трафика позволило обнаружить проблемы безопасности, которые пропустила встроенная проверка хэша.

타임라인

1. 00:00:00 - 05:05:00

   Ограничения публичных бенчмарков и влияние тестового окружения

   Стефани Джармак рассматривает оценку ИИ с позиции научного исследователя, подчеркивая необходимость скептицизма к готовым метрикам. На примере тестов в Sourcegraph показано, что оптимизация промптов снижает затраты, но не заставляет агента применять нужный инструмент. Сравнение в Terminal Bench демонстрирует, что смена окружения кардинально перераспределяет лидеров среди моделей. Публичные бенчмарки служат лишь отправной точкой для формирования шорт-листа, а реальные решения требуют создания собственных внутренних эталонов под конкретные бизнес-задачи.

   • Публичные бенчмарки дают лишь общее представление о ландшафте моделей.
   • Изменение тестового окружения меняет производительность моделей более чем на 30%.
   • Агенты могут не использовать инструмент даже при изменении промпта и снижении затрат на 28%.
2. 05:05:00 - 09:55:00

   Методология оценки рабочих нагрузок и анализ трафика

   Процесс оценки строится на выборе репрезентативных задач и учете недетерминированности систем. Анализ работы поисковых инструментов показывает разницу между максимальной полнотой и точной F1-мерой, когда модель извлекает сотни лишних файлов вместо нескольких нужных. Наличие полных данных наблюдаемости позволяет проследить весь конвейер доступной агенту информации и понять, на каком этапе происходит сбой в логике или вызове инструментов.

   • Необходимо подбирать задачи, отражающие полный жизненный цикл разработки ПО.
   • Сбор детальных трейсов помогает поэтапно выявлять причины сбоев агентов.
   • Оптимизация метрик вроде полноты может приводить к избыточному возврату файлов.
3. 09:55:00 - 17:02:00

   Аудит безопасности, риски и контроль автономности агентов

   Автоматизация выполнения задач требует надежных барьеров безопасности и систем аудита. При уровне ложных срабатываний в 1% объем тревог перегружает человеческих экспертов. Кроме того, следы выполнения агентов могут быть ненадежными, и только независимый анализ истории трафика выявляет скрытые проблемы. Итоговая стратегия заключается в переходе от абстрактных тестов к анализу производственных данных, определении допустимых уровней риска и создании внутренних репозиториев лучших практик.

   • Высокий уровень ложных срабатываний при ручной проверке создает непосильную нагрузку на экспертов.
   • Встроенные проверки хэша могут пропускать внедренные уязвимости безопасности.
   • Производство остается главным источником истинных данных для настройки систем.