Агенты, которые самосовершенствуются пока вы спите — Фуад Али, Arize AI
원제 · Agents That Self Improve While You Sleep - Fuad Ali, Arize AI
핵심 요약
Замкнутый цикл самосовершенствования агентов использует автоматический анализ трейсов и генерацию PR агентом Signal с подтверждением тестами на уровне 88,9%, сохраняя за человеком контроль архитектуры оценок и ручной мердж кода.
하이라이트
Платформа Arize AX автоматизирует сбор трейсов с деревьями вызовов моделей, задержками и атрибутами инструментов через AX CLI и протокол MCP.
Агент Signal запускается по умолчанию каждые 6 часов или по триггеру алертов для кластеризации сбоев в продакшене и формирования пулл-реквестов с исправлениями.
Несоответствие регистра в запросе привело к трем последовательным вызовам поиска товаров и подскоку задержки до 14–17 секунд.
Автоматический прогон тестов на регрессионном датасете показал успешность предлагаемого исправления на уровне 88,9%.
Фильтрация по порогу уверенности от 0,3 до 0,7 в бенчмарках спама отсекает 4,6% сложных кейсов на ручную проверку, сохраняя точность автоматической разметки на отметке 99,5%.
타임라인
Проблема недетерминированности агентов и цели воркшопа
Поведение автономных агентов трудно предсказать из-за вариативности путей выполнения задач. Известны реальные инциденты, когда боты автосалонов соглашались на продажу машин за несколько долларов или выставляли нулевые цены на товары. Для демонстрации методов отладки используется тестовое приложение Wonder Toys на стеке FastAPI, Next.js и ChromaDB.
- Недетерминированная природа LLM-агентов усложняет поиск причин сбоев в продакшене.
- Ошибки в логике работы агентов приводят к финансовым и юридическим рискам для бизнеса.
- Для работы тестового окружения демо-агента Wonder Toys требуются Node, Python и ключи провайдеров LLM.
Этапы зрелости мониторинга и автоматизация SRE
Большинство команд останавливаются на базовом логировании вызовов инструментов и задержек. Полноценный цикл требует трансформации инцидентов в постоянные датасеты для регрессионного тестирования. Автоматический сбор телеметрии через открытые SDK избавляет инженеров от ручного разбора логов при ночных авариях.
- Инженерия надежности агентов проходит путь от базового трейсинга до автоматического синтеза регрессионных тестов.
- Ручное чтение миллионов трейсов в высоконагруженных системах физически невозможно.
- Инструментация AX CLI сохраняет полные деревья спанов, атрибуты ввода-вывода и контекст сессий.
Кластеризация ошибок и генерация исправлений агентом Signal
Signal сканирует трейсы и выявляет аномалии вроде избыточных вызовов поиска из-за отсутствия нормализации регистра входных данных. Интеграция с GitHub и средами исполнения Modal или E2B позволяет агенту самостоятельно изучать код репозитория и оформлять PR. Пополнение динамических датасетов сохраняет прецеденты сбоев подобно формированию мышечной памяти.
- Фоновый агент Signal запускается каждые 6 часов и группирует схожие сбои в отдельные тикеты.
- Анализ исходного кода на GitHub выявил несоответствие формата категорий в нижнем регистре ответам модели, вызвавшим задержку до 17 секунд.
- Signal подготавливает готовый пулл-реквест с кодом исправления за шесть минут работы в песочнице.
Методология оценивания и роль человека в цикле
Детерминированные правила проверяют схемы JSON и аргументы функций с минимальными затратами вычислительных ресурсов. Для качественной валидации применяются специализированные модели решений, возвращающие бинарный вердикт или числовой балл. Агент Alex помогает синтезировать промпты для эвалов непосредственно из контекста зафиксированных ошибок трейса.
- Программные проверки валидируют точные структуры данных дешевле вызовов нейросетевых судей.
- Судьи на базе моделей решений предоставляют быстрые дискретные оценки с метриками уверенности.
- Человеческая экспертиза сосредоточена на рецензировании кода PR, кураторстве датасетов и дизайне промптов для оценок.
Экспериментальное подтверждение и проверка на регрессию
Внесение правок в системные промпты часто ломает соседние сценарии вызова инструментов. Повторный запуск агента на сохраненном датасете подтверждает падение задержки и устранение повторных запросов без регрессии остальных метрик. Автоматическая маршрутизация неоднозначных ответов позволяет передавать на суд человека лишь 4,6% граничных случаев.
- Эксперимент подтвердил исправление бага категорий с общим показателем успешности 88,9%.
- Повторный прогон ошибочных кейсов гарантирует отсутствие скрытых деградаций в связанных инструментах.
- Кейсы с оценкой уверенности от 0,3 до 0,7 автоматически направляются в очередь ручной разметки.
Интеграция окружения, экономика оценок и ответы на вопросы
Анализ эффективности требует сопоставления стоимости работы цикла самосовершенствования с ущербом от инцидентов в продакшене. Постоянный мониторинг каждого трейса моделью-судьей уступает по рентабельности фильтрации редких критических отказов через обязательные пайплайны CI/CD. Тесты со стабильно идеальными результатами выводятся из эксплуатации для предотвращения бесполезного сжигания токенов.
- Signal связывается с рабочими процессами инженеров через Slack, системные метрики Datadog и интерфейсы CLI.
- Оценки на 100% живых трейсов несут риск неоправданных расходов по сравнению с выборочным тестированием в CI/CD.
- Затраты на работу агента оптимизируются отключением проверок со стабильной надежностью 99,999%.
설명
In this workshop, Fuad Ali of Arize AI shows how to build a self-improvement loop for AI agents: trace everything, let Signal (an always-on agent) read your traces on a schedule and file deduplicated issues, turn failures into evals and living regression datasets, run experiments to prove a fix works, and keep humans at the highest-leverage points: eval design, dataset curation and reviewing fixes. He demos the loop on a toy-shopping agent with a planted bug and takes questions on evaluating qualitative output, decision models and cost. Chapters 00:00 Intro and workshop setup 05:42 Where is your team on the maturity curve? 07:39 The loop: trace, signal, eval, experiment, fix 08:46 Demo agent and tracing 12:15 Signal: an always-on agent reading your traces 16:11 Agent Studio and managed agents 18:31 Turning failures into datasets 20:32 Evals: code, LLM as a judge, decision models 24:48 Creating an eval from a Signal issue 27:01 Experiments: proving the fix works 31:12 Keeping humans in the loop 34:16 Toward a fully automated loop 40:16 Q&A: evaluating qualitative output 48:21 Q&A: decision models, data sources and cost Fuad Ali, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!