Arrêtez de donner des outils à votre agent. Donnez-lui un bac à sable - Mikyo King, Arize AI
원제 · Stop Giving Your Agent Tools. Give It a Sandbox - Mikyo King, Arize AI
핵심 요약
Fournir un bac à sable et un environnement de programmation au lieu d'un catalogue d'outils statique permet de réduire drastiquement les coûts en jetons tout en augmentant les capacités des agents.
하이라이트
Le passage au mode code réduit le nombre de jetons de 43 % et le coût de 31 % lors de l'évaluation des agents.
Le mode code permet à un agent d'exécuter plusieurs outils en un seul tour tout en ne renvoyant que le strict nécessaire au contexte.
Les agents dotés d'un environnement de programmation et d'un bac à sable démontrent des comportements émergents avancés comme la création dynamique d'outils.
타임라인
Évolution du développement et limites des outils traditionnels
Les agents traditionnels sélectionnent des outils injectés dans la fenêtre de contexte, ce qui provoque une augmentation de la latence, des coûts et des échanges superflus au fur et à mesure que les attentes et les horizons temporels s'allongent.
- La frontière entre logiciels pour développeurs et non-développeurs est en train de disparaître grâce aux agents de codage.
- L'approche classique consistant à fournir un vaste catalogue d'outils entraîne une surcharge et une dégradation du contexte.
Architecture et avantages du mode code
Au lieu d'accumuler des outils dans le contexte, le modèle recherche et exécute dynamiquement ce dont il a besoin, ce qui permet d'appeler plusieurs outils en un seul tour et de générer des comportements émergents impossibles avec des outils fixes.
- Le mode code offre un véritable environnement de programmation pour combiner les outils en séquence, en parallèle ou selon des conditions.
- Cette architecture permet une divulgation progressive des outils et une efficacité accrue en matière de jetons.
Implémentations et défis opérationnels
Bien que le mode code libère un potentiel considérable, il introduit des complexités opérationnelles telles que la gestion des pannes, la durabilité des exécutions et le problème du double bac à sable avec le Model Context Protocol.
- Arise intègre le mode code via Bash, des bacs à sable Python et l'écriture de requêtes SQL dans sa plateforme Phoenix.
- L'utilisation de codes générés par des LLM soulève des défis liés aux ressources, à la gestion des secrets, aux permissions et au débogage.
Évaluation et résultats de performance
L'évaluation rigoureuse par apprentissage par renforcement et vérificateurs permet d'identifier l'instabilité et d'optimiser continuellement les instructions et les performances des agents.
- Le framework Harbor soumet les agents à des environnements de bac à sable isolés pour mesurer leur taux de réussite de manière empirique.
- L'adoption du mode code a permis de réduire les jetons de 43 % et les coûts de 31 % tout en maintenant une latence stable.
설명
Classic tool-calling agents fill their context with tool catalogs and raw outputs. Code mode gives the agent a sandbox and lets it search for and compose tools in code, returning only what it needs. Mikyo King, head of open source at Arize AI, explains why code mode works, how Arize built it into Phoenix (Bash, a Python sandbox, SQL and even UI control), its hidden costs (secrets, permissions, durability, double sandboxing), and how Harbor evals showed 43% fewer tokens and 31% lower cost. Chapters: 0:00 Intro 0:36 The line between engineers and everyone else is dissolving 1:52 The classic tool-calling agent 3:03 What is code mode? 4:37 Why code mode works 6:11 How Phoenix uses code mode 8:19 The hidden costs of code mode 10:42 Open problems 11:44 Evaluating code mode with Harbor 12:55 Results: 43% fewer tokens, 31% lower cost 13:59 Takeaways Mikyo King https://arize.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!