Cerveau contre mains : comment exécuter des agents IA en production en toute sécurité — Viren Baraiya

하이라이트

• Les environnements de contrôle (harnesses) agissent comme des applications globales qui assemblent agents, bases de données, humains et outils MCP.

• La responsabilité d'un agent non déterministe se limite strictly à la planification, tandis que l'environnement de contrôle exécute les actions de manière déterministe.

• Les environnements d'agents fonctionnent comme des sagas à liaison tardive (late bound sagas) en générant des flux de travail à l'exécution à partir d'un ensemble fini d'outils.

• L'utilisation d'outils comme Plan and Compile permet d'adapter des modèles d'orchestration open source comme Conductor pour convertir les instructions du LLM en workflows exécutables.

타임라인

1. 00:00 - 03:48

   Passage des chatbots aux applications d'arrière-plan

   L'exécution d'agents en production ne se limite plus aux interfaces de discussion pour le service client. Les cas d'usage réels impliquent des travailleurs d'arrière-plan exécutés toutes les heures, des agents réagissant aux alerte système via OTel, ou des coordinateurs surveillant d'autres agents. Tout comme en architecture de microservices, une application robuste repose sur plusieurs agents spécialisés à responsabilité unique communiquant entre eux.

   • Les architectures d'agents dépassent le simple modèle d'appel d'outil ou de chatbot.
   • Les systèmes modernes s'appuient sur des agents d'arrière-plan planifiés, pilotés par des événements ou coordonnés à long terme.
   • Un agent unique gérant plusieurs tâches augmente considérablement le risque d'hallucinations.
2. 03:48 - 07:27

   Rôle et architecture des environnements de contrôle

   Un agent seul ne réalise pas l'ensemble des besoins métier. L'environnement de contrôle combine les capacités de raisonnement non déterministes d'un LLM avec des règles métier strictement déterministes. Dans un contexte de gestion d'infrastructures Kubernetes ou de paiements, les séquences de redémarrage doivent être prévisibles. Ces processus peuvent s'étendre sur quelques secondes ou s'exécuter pendant plusieurs mois.

   • L'environnement de contrôle constitue l'application globale qui orchestre agents, bases de données, humains et API.
   • La durabilité face aux pannes d'infrastructure est un prérequis indispensable pour tout environnement d'exécution.
   • Les opérations critiques nécessitent un cadre strict pour éviter l'incursion du non-déterminisme.
3. 07:27 - 11:49

   Séparation entre planification et exécution

   L'environnement maintient l'état du système, enregistre les effets secondaires et évalue la prochaine étape. Lorsqu'une action critique comme le redémarrage d'un cluster est requise, le code déterministe de l'environnement prend le relais pour valider l'exécution et solliciter une approbation humaine sur Slack si nécessaire. Plutôt que de coder chaque branche d'un workflow à l'avance, l'agent génère dynamiquement la séquence d'outils appropriée lors de l'exécution.

   • Le LLM agit comme le cerveau qui planifie, tandis que l'environnement sert de mains pour exécuter.
   • L'environnement gère les validations humaines et l'idempotence des actions.
   • Les environnements d'agents sont des sagas à liaison tardive (late bound sagas).
4. 11:49 - 16:39

   Démonstration d'un agent SRE avec Conductor

   Une démonstration illustre une boucle de remédiation SRE s'exécutant sur deux itérations. Le LLM analyse les journaux, interroge les métriques et propose un plan d'action multi-étapes. Le composant Plan and Compile traduit cette proposition en un workflow exécuté par l'orchestrateur open source Conductor. Lors de la seconde boucle, l'agent constate que l'annulation des données a déjà réussi au premier passage et adapte la suite de sa trajectoire sans répéter l'opération.

   • L'agent SRE génère des séquences d'actions multi-étapes transmises au composant Plan and Compile.
   • Le moteur Conductor transforme les plans en flux de travail exécutables et vérifiables.
   • La boucle d'auto-planification adapte les étapes ultérieures en fonction des résultats observés.