Nous n'avons pas arrêté de reconstruire notre agent IA. Voici ce qui a survécu - Fuad Ali, Arize AI

Highlights

• Le premier prototype de l'agent Alex fin 2023 affichait un taux d'environ 50 % d'hallucinations pour 50 % de résultats utiles.

• L'architecture de la mémoire à long terme repose sur un simple fichier Markdown par utilisateur dont la taille est limitée à 8 000 caractères.

• Le modèle Sonnet 4.5 est devenu le modèle par défaut de l'agent lors du lancement de la version 2.0 en février 2026.

Timeline

1. 00:00 - 05:56

   Introduction et historique de l'agent Alex

   L'intervenant présente l'utilisation d'Alex pour déboguer le produit lui-même dans une approche itérative. La chronologie montre le passage initial de calculs complexes confiés aux modèles vers un code de harnais plus rigoureux. L'intégration progressive d'outils de planification et de modèles par défaut comme Sonnet 4.5 a structuré le développement.

   • L'agent Alex fait partie intégrante de la plateforme Arise AX pour lire les traces et générer des tests.
   • Le premier prototype de fin 2023 présentait un taux d'hallucinations de 50 pour cent.
   • Plusieurs versions majeures se sont succédé jusqu'au lancement d'Alex 2.0 en février 2026.
2. 05:56 - 09:43

   Gestion des listes de tâches et de la clôture des tours

   L'expérimentation initiale consistant à confier des listes de tâches aux modèles a entraîné un nombre excessif d'appels LLM sans valeur ajoutée. L'architecture a évolué pour intégrer le plan directement dans les messages gérés par le harnais. De plus, pour garantir la compatibilité avec divers fournisseurs de modèles choisis par les clients, un mécanisme de clôture strict prévient les arrêts prématurés ou erronés.

   • L'équipe a éliminé les listes de tâches complexes gérées directement par le modèle pour éviter les boucles d'appels inutiles.
   • Le code de harnais impose désormais un état et une vérification d'achèvement des tâches.
   • Un appel de fin explicite renvoie une erreur si des éléments du plan restent ouverts.
3. 09:43 - 13:30

   Stratégies de mémoire et abandon des architectures complexes

   Face à la saturation rapide du contexte par des résultats d'outils massifs, le système recourt à des troncatures et à des outils de type JQ. Pour la mémoire à long terme, l'équipe a testé des recherches vectorielles et des graphes temporels avant de privilégier un fichier par utilisateur mis à jour par une tâche de fond. Cette approche garantit la sécurité, la légèreté du contexte et une relecture humaine aisée.

   • Les résultats d'outils trop volumineux sont tronqués ou traités comme des fichiers externes pour préserver la fenêtre de contexte.
   • La mémoire à long terme utilise un fichier Markdown unique de 8 000 caractères maximum par utilisateur.
   • Les structures complexes comme les graphes de connaissances ont été abandonnées au profit de cette solution simple et auditable.
4. 13:30 - 19:57

   Simplification des agents et tests en production

   La transition d'une architecture éclatée en dizaines de spécialistes vers un agent unique a simplifié le système tout en tirant parti des progrès des modèles. Les données de production en direct constituent la base des tests de non-régression via la plateforme Arise. Enfin, l'intervention humaine reste indispensable pour définir les étiquettes de référence, évaluer les compromis entre vitesse et qualité, et valider les choix architecturaux.

   • L'architecture multi-agents spécialisés a été remplacée par un agent unique capable de charger des compétences à la demande.
   • Les sessions de production servent de cas de test de référence et alimentent les jeux de données de régression.
   • Le traçage global permet de détecter les anomalies qualitatives et les boucles d'appels répétées.