Les Skills n'avaient qu'UNE mission (et c'est un échec)

L'auteur introduit une découverte surprenante de Vercel concernant la meilleure façon de donner du contexte aux agents IA. L'objectif était de fournir la documentation Next.js la plus récente à un agent de codage pour combler les lacunes de son entraînement initial. Le narrateur explique que Vercel a comparé l'utilisation des « skills » par rapport au traditionnel fichier « agents.md ». Cette section souligne l'importance de contrôler précisément les API et les versions utilisées par l'IA. Cette mise en contexte est essentielle pour comprendre pourquoi les méthodes actuelles peuvent échouer en production.

Cette partie détaille l'utilisation des skills, un standard ouvert d'Anthropic consistant en des modules d'instructions chargés à la demande. Les tests de Vercel révèlent un défaut majeur : l'agent ne sollicite pas le skill dans 56 % des cas, le rendant inutile ou distrayant. Forcer l'utilisation via le prompt améliore le taux de déclenchement à 95 %, mais crée une fragilité comportementale inquiétante. Un changement mineur de formulation peut pousser l'agent à ignorer totalement le contexte du projet au profit du skill. Finalement, Vercel conclut que cette approche est trop aléatoire pour être considérée comme fiable et robuste.

Le narrateur présente ensuite l'alternative : l'utilisation d'un fichier agents.md dont le contenu est systématiquement inclus dans le prompt système. Pour éviter la saturation du contexte, Vercel utilise un index de chemins vers les fichiers de documentation plutôt que le texte intégral. L'instruction clé ajoutée est de préférer systématiquement la récupération documentaire au raisonnement issu de l'entraînement de base. Les résultats sont sans appel avec un score de réussite de 100 % sur la compilation et les tests unitaires. Cette approche « simple » s'avère bien plus efficace que la sur-ingénierie complexe des skills modulaires.

L'auteur explore les raisons de ce succès, suggérant que l'absence de point de décision pour l'IA est le facteur déterminant. En fournissant l'information dès le départ, la connaissance devient persistante et intégrée nativement au raisonnement du modèle. Cependant, l'analyse précise que les skills ne sont pas obsolètes mais servent des objectifs différents. Ils sont parfaits pour des tâches ponctuelles et explicites comme une migration de routeur ou une mise à jour de version. Pour une connaissance générale et constante d'un framework, le contexte passif reste le choix optimal pour les modèles actuels.

En conclusion, Vercel livre ses conseils pour les développeurs de frameworks et les créateurs de fichiers de configuration. Il est conseillé de compresser au maximum le contexte et de concevoir des systèmes orientés vers la récupération immédiate. L'utilisation systématique d'évaluations (evals) est présentée comme le seul moyen de garantir l'efficacité réelle des instructions. Le narrateur mentionne également l'existence d'un outil Vercel pour générer automatiquement ces fichiers agents.md optimisés pour Next.js. La vidéo se termine sur un appel à l'interaction pour recueillir l'avis de la communauté sur ces deux méthodes.