Des agents qui s'améliorent pendant votre sommeil - Fuad Ali, Arize AI
원제 · Agents That Self Improve While You Sleep - Fuad Ali, Arize AI
핵심 요약
La boucle d'auto-amélioration continue repose sur l'automatisation de l'analyse des traces de production par des agents comme Signal, qui génèrent des tests, créent des évaluations et proposent des correctifs testés en bac à sable, tout en réservant l'intervention humaine à la validation finale.
하이라이트
Signal s'exécute par défaut toutes les six heures pour regrouper les échecs de traces et générer des propositions de correction sur GitHub.
La conversion de traces d'échecs en jeux de données dynamiques fournit une suite de tests de régression continue.
Un bogue de casse dans les slugs de catégories provoque trois appels LLM séquentiels et fait grimper la latence à 17 secondes.
Les modèles de décision réduisent considérablement les coûts d'évaluation tout en fournissant des scores de confiance exploitables au runtime.
L'aiguillage ciblé des traces ayant un score de confiance entre 0,3 et 0,7 vers des réviseurs humains permet de maintenir 99,5 % de précision.
타임라인
Limites de la maintenance manuelle des agents IA
Les agents autonomes présentent une variabilité qui rend les pannes plus complexes à diagnostiquer que dans les architectures logicielles classiques. Des incidents critiques comme la vente erronée d'un véhicule à cinq dollars par un chatbot illustrent le coût d'un dysfonctionnement non maîtrisé. L'environnement d'atelier Wonder Toys sert de cas d'école local pour tester l'instrumentation et la boucle de correction.
- Le comportement non déterministe des agents multiplie les modes de défaillance en production.
- Le volume élevé d'interactions empêche toute lecture humaine exhaustive des traces d'exécution.
- L'environnement de démonstration Wonder Toys s'appuie sur FastAPI, Next.js et ChromaDB.
Phases de maturité opérationnelle et architecture de la boucle
Les organisations débutent généralement par la simple capture des arbres de traces avant d'évoluer vers la notation systématique des résultats. L'objectif consiste à automatiser l'étape intermédiaire où des agents SRE transforment les traces d'échec en tests de non-régression reproductibles. La CLI open source standardise cette télémétrie sans exiger d'instrumentation manuelle lourde pour chaque outil ou appel de modèle.
- La chaîne opérationnelle progresse du traçage brut jusqu'à la validation automatisée des correctifs par l'expérimentation.
- L'agent SRE Signal analyse les traces, extrait des jeux de données d'échec et propose des évaluations.
- L'AX CLI automatise l'extraction des appels d'outils, des prompts et des métadonnées de sessions complètes.
Détection d'anomalies et génération de correctifs par Signal
L'analyse automatisée des traces révèle qu'une recherche de jouets déclenche des tentatives redondantes en raison de majuscules et d'espaces non normalisés. Signal inspecte directement le dépôt GitHub, relie le comportement défaillant au code source et ouvre une proposition de modification documentée avec les preuves d'exécution. Les cas anormaux sont ensuite insérés dans un jeu de données dynamique pour enrichir le patrimoine de tests au fil de l'eau.
- Signal déduplique et regroupe les pannes de production sous forme d'incidents exploitables.
- Une disparité de format entre le slug de l'outil et l'entrée textuelle génère des latences de 14 à 17 secondes.
- L'agent examine le code source en bac à sable pendant six minutes pour soumettre une pull request corrective sur GitHub.
Stratégies d'évaluation et modèles de décision
La validation des agents repose sur un compromis entre rigueur déterministe et flexibilité sémantique. Les règles strictes en code valident la syntaxe et la présence de champs, tandis que les évaluateurs LLM notent la pertinence qualitative globale. L'intégration de modèles de décision légers permet de catégoriser les comportements et de mesurer la santé des flux sans faire exploser les dépenses d'inférence.
- Les vérifications par code constituent la méthode la plus économique pour les validations déterministes.
- Les modèles de décision fournissent des scores de confiance rapides à un coût bien inférieur aux LLM juges traditionnels.
- L'agent interne Alex génère des prompts d'évaluation en un clic à partir des traces d'échec observées.
Validation des correctifs et expérimentation hors production
Modifier une consigne de prompt peut dégrader involontairement d'autres fonctionnalités en aval. L'expérimentation rejoue l'historique des requêtes défaillantes sur la nouvelle version de l'agent pour vérifier que les boucles inutiles disparaissent et que la latence chute. Les cas incertains basés sur les scores de confiance sont automatiquement dirigés vers des files d'annotation humaine pour arbitrage.
- La validation d'un correctif exige de rejouer les cas d'échec pour confirmer l'absence de régression collatérale.
- Un seuil de réussite de 88,9 % sur le jeu de tests valide la publication de la nouvelle version de l'agent.
- L'isolation des 4,6 % d'évaluations à faible niveau de confiance optimise le temps d'intervention des réviseurs humains.
Écosystème d'intégration et vision de la boucle fermée
L'automatisation complète de la boucle relie les alertes de latence à des agents d'investigation capables d'interagir sur Slack ou via des terminaux locaux. Cette infrastructure s'adapte à divers niveaux de complexité logicielle, allant du simple conteneur isolé jusqu'aux bases de données simulées. La valeur de l'ingénieur se concentre alors sur l'arbitrage stratégique des modifications plutôt que sur la fouille manuelle de logs.
- L'architecture supporte les bacs à sable gérés ainsi que les environnements externes comme Modal, Daytona et E2B.
- Des compétences dédiées permettent d'ingérer des métriques et des journaux issus d'outils APM comme Datadog.
- L'intervention humaine conserve une haute valeur sur la revue de code, le tri des jeux de données et la définition des critères de qualité.
Arbitrages économiques et calibrage des flux d'évaluation
Le retour sur investissement dicte la fréquence et la nature des contrôles appliqués aux agents. L'évaluation de 100 % du trafic en direct s'avère économiquement insoutenable face à des défaillances mineures, ce qui justifie de concentrer les jeux de tests stricts dans le pipeline d'intégration continue. Les métriques indirectes comme le taux d'acceptation des pull requests permettent d'évaluer la pertinence réelle des corrections sans générer de surcoût d'analyse inutile.
- L'optimisation des coûts impose d'exécuter un maximum de contrôles en CI/CD avant d'appliquer un échantillonnage en production.
- La surveillance récursive consiste à utiliser Signal pour tracer et évaluer le comportement de Signal lui-même.
- L'évaluation continue subit des rendements décroissants dès lors que la vérité terrain dépend de métriques indirectes.
설명
In this workshop, Fuad Ali of Arize AI shows how to build a self-improvement loop for AI agents: trace everything, let Signal (an always-on agent) read your traces on a schedule and file deduplicated issues, turn failures into evals and living regression datasets, run experiments to prove a fix works, and keep humans at the highest-leverage points: eval design, dataset curation and reviewing fixes. He demos the loop on a toy-shopping agent with a planted bug and takes questions on evaluating qualitative output, decision models and cost. Chapters 00:00 Intro and workshop setup 05:42 Where is your team on the maturity curve? 07:39 The loop: trace, signal, eval, experiment, fix 08:46 Demo agent and tracing 12:15 Signal: an always-on agent reading your traces 16:11 Agent Studio and managed agents 18:31 Turning failures into datasets 20:32 Evals: code, LLM as a judge, decision models 24:48 Creating an eval from a Signal issue 27:01 Experiments: proving the fix works 31:12 Keeping humans in the loop 34:16 Toward a fully automated loop 40:16 Q&A: evaluating qualitative output 48:21 Q&A: decision models, data sources and cost Fuad Ali, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!