Мы снова и снова пересобирали нашего ИИ-агента. Вот что выжило — Фуад Али, Arize AI

Highlights

• Первый прототип агента в конце 2023 года демонстрировал 50% галлюцинаций и 50% полезных результатов.

• Архитектура долгосрочной памяти агента представляет собой один файл в формате Markdown объемом до 8000 символов на каждого пользователя.

• Вместо десятка специализированных субагентов разработчики перешли к единому агенту, который подгружает необходимые навыки и инструменты по требованию.

• Практически вся логика переработки агента реализовывалась в коде обвязки, а не через дообучение моделей.

Timeline

1. 00:00 - 06:18

   История создания и эволюция архитектуры Алекса

   Процесс разработки сопровождался частыми изменениями архитектуры, включая переход от простых деревьев решений к итеративным вызовам инструментов. Все ключевые улучшения касались кода обвязки, поскольку сами языковые модели развивались по собственному графику, а разработчики сохраняли полный контроль над циклом выполнения и правилами остановки.

   • Разработка встроенного агента Алекс началась в конце 2023 года с использованием ранних моделей.
   • Большая часть вычислений была перенесена из модели в код обвязки для повышения надежности.
   • В феврале 2026 года состоялся крупный перезапуск с переходом на модель Sonnet 4.5 по умолчанию.
2. 06:19 - 09:43

   Управление планированием и завершением шагов

   Модели проявляли излишнее усердие при работе со списками задач, расходуя токены на обновление статусов. В результате разработчики отказались от индикаторов выполнения в пользу структуры, где обвязка хранит состояние, а модель выполняет следующее действие из упорядоченного стека.

   • Первоначальное использование списков задач приводило к пустой трате вызовов LLM на простое вычеркивание пунктов.
   • Планы были перенесены в код обвязки для пошагового отслеживания состояния.
   • Система использует принудительный явный вызов завершения работы для защиты от сбоев.
3. 09:44 - 14:11

   Оптимизация памяти и отказ от субагентов

   Громоздкие результаты выполнения инструментов уничтожают контекстное окно, поэтому система применяет краткие указатели и обрезку данных. Для долговременной памяти сложные графы знаний и векторные хранилища уступили место компактному текстовому файлу, который легко редактировать в фоновом режиме и проверять людям.

   • Слишком большие результаты работы инструментов обрезаются внутри JSON с использованием утилит вроде JQ.
   • Долгосрочная память пользователя реализована в виде простого Markdown-файла с ограничением в 8000 символов.
   • Система отказалась от десяти узких субагентов в пользу единого агента с динамической загрузкой навыков.
4. 14:12 - 19:57

   Тестирование, метрики и неизменные принципы

   Платформа отслеживает все действия агента через собственные трейсы, что упрощает обнаружение неэффективных циклов повторных попыток. Человеческий опыт по-прежнему необходим для формирования золотых наборов данных, настройки судей и принятия решений о балансе между скоростью и качеством.

   • Живые производственные сеансы используются в качестве постоянных регрессионных тестов и эталонов.
   • Ошибки агентов носят качественный характер и редко выражаются в виде явных сбоев выполнения.
   • Математические операции и агрегация данных всегда выполняются в коде, а не самой моделью.