Хватит давать своему агенту инструменты. Дайте ему песочницу — Микё Кинг, Arize AI
Original · Stop Giving Your Agent Tools. Give It a Sandbox - Mikyo King, Arize AI
Key Takeaway
Переход от традиционного вызова инструментов к кодовому режиму в песочнице снижает стоимость запросов на 31% и уменьшает расход токенов на 43%.
Highlights
Кодовый режим позволяет агенту динамически выполнять код в песочнице, сокращая затраты токенов на 43% и снижая расходы на 31%.
Традиционный подход с передачей огромного каталога инструментов приводит к раздутию контекстного окна и ухудшению производительности.
Интеграция песочницы для языков Bash, Python и SQL дает агенту возможность самостоятельно создавать инструменты для решения сложных задач.
Фреймворк Harbor позволяет запускать агентов в изолированных средах без доступа к сети для оценки их стабильности и метрики Pass@K.
Timeline
Проблемы традиционного вызова инструментов
Разработчики часто предоставляют агентам огромный каталог доступных функций. При каждом вопросе пользователя модель вынуждена подгружать их в контекстное окно, что приводит к его раздутию, росту задержек и увеличению общего времени выполнения задачи.
- Традиционный подход перегружает контекстное окно огромным каталогом инструментов.
- Итеративный вызов инструментов увеличивает задержки, стоимость и количество шагов.
Преимущества кодового режима
Вместо жесткого меню инструментов агент получает среду выполнения кода, где он может искать, комбинировать и запускать функции в нужных потоках. Это обеспечивает прогрессивное раскрытие возможностей и эффективное управление контекстом.
- Кодовый режим предоставляет среду программирования для последовательного или параллельного выполнения инструментов.
- Агент возвращает в контекстное окно только необходимые результаты, экономя токены.
Реализация и операционные сложности
Интеграция утилит Linux, сред Python и запросов SQL позволяет агентам выполнять агрегацию данных и сложные операции. Тем не менее, возникают трудности с безопасностью секретов, обработкой сбоев и проблемой двойной песочницы.
- Платформа Phoenix интегрирует Bash, Python и SQL для расширения возможностей агентов.
- Использование песочниц сопряжено с рисками управления секретами, сетевым трафиком и разрешениями.
Оценка эффективности и результаты
Для проверки надежности разработчики запускают агентов через Harbor с отключенным сетевым доступом и используют верификаторы. Практические тесты показали значительное сокращение затрат и сохранение стабильной задержки.
- Фреймворк Harbor тестирует агентов в изолированных средах для отслеживания метрики Pass@K.
- Внедрение кодового режима сократило объем токенов на 43% и общую стоимость на 31%.
Description
Classic tool-calling agents fill their context with tool catalogs and raw outputs. Code mode gives the agent a sandbox and lets it search for and compose tools in code, returning only what it needs. Mikyo King, head of open source at Arize AI, explains why code mode works, how Arize built it into Phoenix (Bash, a Python sandbox, SQL and even UI control), its hidden costs (secrets, permissions, durability, double sandboxing), and how Harbor evals showed 43% fewer tokens and 31% lower cost. Chapters: 0:00 Intro 0:36 The line between engineers and everyone else is dissolving 1:52 The classic tool-calling agent 3:03 What is code mode? 4:37 Why code mode works 6:11 How Phoenix uses code mode 8:19 The hidden costs of code mode 10:42 Open problems 11:44 Evaluating code mode with Harbor 12:55 Results: 43% fewer tokens, 31% lower cost 13:59 Takeaways Mikyo King https://arize.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!