Log in to leave a comment
No posts yet
C'est l'ère où les agents IA écrivent du code et déploient des infrastructures. Pourtant, les développeurs sur le terrain restent sceptiques. Un agent qui semblait parfait il y a un instant peut soudainement donner une réponse absurde ou ignorer un outil pourtant explicitement spécifié.
Les résultats d'une expérience récente de l'équipe Vercel AI SDK sont frappants. Lorsqu'on confie à un agent IA le choix des outils, c'est-à-dire les « compétences » (Skills), le taux d'échec atteint 56 %. Ce n'est pas un problème d'intelligence du modèle. C'est la preuve que notre manière de fournir des informations à l'IA est fondamentalement erronée. Le secret pour porter le taux de réussite à 100 % ne réside pas dans l'ajout d'outils, mais dans une stratégie de contexte persistant basée sur agents.md.
De nombreux développeurs dotent les agents de diverses fonctions d'appel d'outils, espérant que l'IA les utilisera d'elle-même au moment opportun. Cependant, cette méthode présente une faiblesse fatale : le bruit décisionnel.
La fenêtre de contexte d'un modèle d'IA est comparable à la mémoire à court terme humaine. Après plus de cinq échanges, les instructions figurant dans le prompt système initial perdent leur priorité. C'est ce qu'on appelle la corruption du contexte. À chaque instant, l'agent hésite : « Dois-je utiliser un outil maintenant, ou répondre selon mes connaissances actuelles ? » Ce point de décision devient en lui-même un point de défaillance unique (Single Point of Failure).
La solution pour faire passer le taux d'échec de 56 % à 0 % est simple. Au lieu de donner le choix à l'agent, fixez les règles et informations clés du projet dans le prompt système. Le fichier agents.md en est le cœur.
Selon les benchmarks de Vercel, lorsque la même information est fournie via un outil, le taux de réussite est de 79 %. En revanche, lorsqu'elle est incluse directement sous forme d'index dans agents.md, le taux de réussite atteint 100 %.
| Indicateur d'analyse | Appel d'outils (Skills) | Contexte persistant (agents.md) |
|---|---|---|
| Prise de décision | L'agent décide de charger ou non à chaque fois | L'information réside toujours dans le système |
| Fiabilité | Env. 53 % ~ 79 % (instable) | Jusqu'à 100 % possible |
| Charge de raisonnement | Charge élevée due au bruit décisionnel | Charge faible par omission de la décision |
| Caractéristique | Mode à la demande (On-demand) | Mode passif |
Pour maximiser les performances, agents.md doit être conçu non pas comme un simple fichier texte, mais comme un README pour machine.
Des interdictions concrètes améliorent la qualité des résultats de l'agent plus instantanément que des principes abstraits. Des ordres précis comme « Utilisez MUI v3 et gérez l'état impérativement avec Jotai » sont nécessaires. Indiquer de ne jamais utiliser alert() et de privilégier les composants d'une bibliothèque spécifique empêche l'agent de dévier.
Il ne faut pas laisser l'agent gaspiller des tokens en parcourant tout le dépôt. Fournissez l'emplacement des fichiers clés via un mini-index. Dessinez une carte claire : faut-il utiliser pnpm pour le build ? Où se situent les fichiers de routes et de schémas ?
Si le fichier devient trop volumineux, les performances chutent. Vercel recommande d'indexer des documents de 40 Ko en les compressant à 8 Ko. L'essentiel est d'optimiser les chemins d'accès à la connaissance plutôt que de gaver l'agent de savoir brut.
Tout comme la dette technique s'accumule dans le code, une « dette de prompt » s'accumule dans l'utilisation de l'IA. Si chaque membre de l'équipe donne des instructions différentes à l'agent, la cohérence des résultats s'effondre. En plaçant agents.md à la racine du projet et en le gérant via Git, le contrôle de version est intégré et les guides standards de l'équipe s'appliquent uniformément, quel que soit le modèle utilisé.
À l'ère des agents IA, la victoire se joue sur l'ingénierie du contexte plutôt que sur l'intelligence brute du modèle. Plutôt que d'attendre que les agents deviennent plus intelligents, créer un environnement où ils ne peuvent pas se tromper est le chemin le plus sûr vers la productivité. Commencez dès maintenant par créer un agents.md à la racine de votre projet et formalisez les règles de votre équipe.