Comment tester des agents IA lorsqu'aucun benchmark n'existe — Nathanael Weill, Air Canada
원제 · How to Test AI Agents When No Benchmark Exists — Nathanael Weill, Air Canada
핵심 요약
Générer des tests automatisés en inversant le problème permet d'évaluer les agents IA sans benchmark public.
하이라이트
Air Canada déploie des solutions d'IA dans les opérations, l'administration, le commerce et la fidélisation sans disposer de benchmarks publics.
L'utilisation d'un LLM pour générer des questions à partir de documents permet d'automatiser l'évaluation des systèmes RAG par le code.
L'adoption de tests automatisés augmente la fréquence des évaluations d'une fois par semaine à des dizaines par jour.
L'équipe utilise cinq techniques spécifiques pour tester l'analyse des contrats, incluant la génération de contrats autour de règles connues et la modification de contrats signés.
L'utilisation d'un LLM comme arbitre introduit un niveau de bruit presque aussi difficile à résoudre que le problème initial.
타임라인
Le défi de l'évaluation sans benchmark chez Air Canada
Les équipes de data science font face à des tâches spécifiques où les experts opérationnels manquent de temps pour noter les réponses des chatbots. Les réunions hebdomadaires avec cinq experts produisant des avis divergents limitent le cycle d'évaluation à un essai par semaine, ce qui ralentit la progression.
- Air Canada développe des solutions d'IA pour divers secteurs sans disposer de benchmarks publics.
- L'accès limité aux experts du domaine rend la création manuelle d'évaluations très difficile.
- Un projet antérieur de RAG pour des ingénieurs en télécommunications a mis en évidence les limites des réunions hebdomadaires d'évaluation avec des experts.
L'inversion du problème pour automatiser l'évaluation
L'ajout de complexité dans les pipelines RAG casse souvent des fonctionnalités existantes sans améliorer la précision. En inversant le processus, le système génère des questions à partir des pages de référence, permettant une notation automatisée par le code qui accélère le développement et affine les modèles d'embedding et de découpage.
- La méthode consiste à demander à un LLM de rédiger des questions à partir de documents existants pour tester l'agent.
- Le code évalue directement la réponse de l'agent par rapport au document source sans intervention humaine.
- Cette automatisation fait passer la fréquence des évaluations d'une par semaine à des dizaines par jour.
Cinq techniques de test pour l'analyse des contrats fournisseurs
Pour analyser les contrats sans données historiques de versioning, l'équipe génère 275 tests basés sur des règles fixes ou modifie des contrats signés en supprimant des clauses pour voir si l'agent les détecte. Les variations cosmétiques comme le nom du fournisseur ou l'ordre des clauses servent également à valider la cohérence des résultats de manière automatisée par le code.
- Le nouveau projet chez Air Canada analyse des contrats de fournisseurs pour détecter les clauses non conformes.
- L'équipe utilise cinq techniques de test, dont la génération de contrats autour de règles et le retrait de clauses de contrats signés.
- L'évitement d'un LLM comme arbitre réduit le bruit dans les résultats d'évaluation.
Conclusion et principes d'évaluation des agents
La conception initiale d'une solution doit parfois être modifiée pour intégrer la testabilité. L'automatisation des tests à l'aide de scripts permet d'obtenir des évaluations en quelques minutes au lieu de quatre semaines, offrant ainsi une trajectoire de progression beaucoup plus rapide pour le déploiement des agents.
- Les retours des experts servent à générer de meilleurs tests et instructions plutôt qu'à corriger directement l'agent.
- La règle fondamentale du développement d'agents est l'impossibilité d'améliorer un système sans évaluation.
- Les tests automatisés constituent un outil de soutien pour le développeur et non un feu vert définitif pour la mise en production.
설명
Nathanael Weill leads a team building AI agents at Air Canada, where tasks are so specific there's no public benchmark and domain experts have little time to grade results. His fix is to write the answer first: start from a known answer, generate the input from it, and check whether the agent finds its way back. He shows how that took a past RAG project from one expert-graded test a week to dozens of automated tests a day, then applies it to a supplier-contract review agent with five ways to build a test set: past decisions, planted rule violations, removed clauses, changes that shouldn't matter, and contract templates with filled-in blanks. He also explains why he avoids LLM judges whenever code can check the answer. Chapters: - 00:00 Intro - 00:47 No benchmark, no experts - 01:41 A lesson from a telecom RAG project - 04:43 Weekly expert reviews were too slow - 05:38 Flip it: write the answer first - 06:33 From one test a week to dozens a day - 07:30 Supplier contract review - 10:08 How the contract agent works - 10:39 Five ways to build a test set - 12:31 Planting rule violations - 13:39 Removing clauses - 14:42 Changes that shouldn't matter - 15:38 Templates with blanks - 16:39 Avoid LLM judges when code can check - 18:07 Use expert feedback to build better tests Nathanael Weill, Air Canada: https://www.aircanada.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!