Ne faites pas confiance à vos agents IA. Testez-les comme un scientifique — Stephanie Jarmak, Omni Analytics
원제 · Don't Trust Your AI Agents. Test Them Like a Scientist — Stephanie Jarmak, Omni Analytics
핵심 요약
L'évaluation rigoureuse des agents IA repose sur la création de benchmarks internes adaptés aux charges de travail réelles et sur une observabilité indépendante plutôt que sur la confiance aveugle dans les scores publics.
하이라이트
La modification du prompt d'un agent de codage réduit les coûts de 28 %, mais ne garantit pas l'utilisation effective de l'outil ciblé.
Le changement de harnais d'évaluation modifie l'efficacité des configurations de plus de 30 % sur des tâches standardisées comme Terminal Bench 4.
Un outil de recherche mal calibré extrait 295 fichiers alors que seulement six sont nécessaires, illustrant l'écart entre le rappel brut et la précision utile.
Les registres de traces générés par un agent peuvent masquer des failles de sécurité, nécessitant des contrôles de trafic indépendants.
Un taux de fausses alarmes de 1 % dans un système automatisé génère 10 000 examens, submergeant les capacités de révision des experts.
타임라인
Illusions des métriques et impact du harnais d'évaluation
L'analyse des tests sur un outil de recherche de code montre que les économies financières ne traduisent pas un meilleur comportement de l'agent, celui-ci ignorant l'outil malgré les instructions. De plus, la comparaison de modèles à travers différents harnais démontre que l'infrastructure d'exécution influence directement les performances observées.
- Une modification du prompt initial diminue de 28 % les coûts d'exécution sans résoudre l'absence d'utilisation de l'outil de recherche.
- Le remplacement du harnais ouvert fait varier l'efficacité des configurations de plus de 30 % sur des tâches de codage identiques.
Limites des benchmarks publics et conception de benchmarks internes
Les benchmarks publics servent à établir une sélection initiale de modèles, mais chaque organisation doit concevoir ses propres tests basés sur ses charges de travail réelles. Face au comportement non déterministe des modèles, la prise en compte de la couverture des tâches et des effets d'interaction est indispensable. L'analyse rigoureuse des traces d'exécution permet de remonter la chaîne d'informations pour corriger les défaillances.
- Les benchmarks publics fournissent une vue d'ensemble du marché mais ne reflètent pas les exigences d'un environnement professionnel spécifique.
- L'observabilité détaillée des traces permet de décomposer l'exécution pour identifier les points de blocage dans l'appel des outils.
Maîtrise des métriques et failles des traces d'agents
L'optimisation des performances dépend des objectifs précis de l'entreprise, qu'il s'agisse de maximiser le rappel ou de cibler la pertinence exacte. Par ailleurs, les données consignées par les agents ne sont pas infaillibles : des tests de sécurité prouvent que des anomalies injectées échappent aux contrôles basés sur les traces de l'agent mais apparaissent clairement lors de comparaisons de registres externes.
- Une recherche non optimisée extrait 295 fichiers au lieu de six, faussant l'équilibre entre précision et rappel.
- Les traces internes d'un agent laissent passer des problèmes de sécurité injectés que seuls des audits de registres indépendants détectent.
Alignement sur la production et gouvernance de l'autonomie
L'évaluation finale s'appuie sur la production réelle via des mesures directes ou des analyses en mode fantôme. Pour maintenir un niveau de sécurité opérationnelle sans noyer les équipes sous les fausses alarmes, le système de contrôle doit être dissocié de l'exécution de l'agent. Des dépôts de compétences et des documentations techniques guident l'intégration de ces bonnes pratiques de fiabilité dans les architectures d'agents.
- L'exploitation des données de production internes permet de classifier les tâches et d'ajuster les mesures d'évaluation en conditions réelles.
- L'autonomie des agents nécessite des limites strictes pour définir les seuils d'intervention humaine et éviter la surcharge de révision.
설명
Stephanie Jarmak, a former astronomer who now builds evals at Omni Analytics after building a large coding benchmark at Sourcegraph, argues that most agent evaluations are easy to misread. She shows how swapping only the harness moved results by 30%, why public benchmarks are for shortlisting rather than decisions, and how to design your own evals like an experiment: realistic tasks, repeated runs, full traces and a measurement that matches what you care about. She also covers quality gates that actually stop work, the human review bottleneck, agent records you can't trust, and why production is the final test. Chapters: - 00:00 Intro - 01:11 When the agent ignores your tool - 02:47 The harness changes the results - 03:51 Public benchmarks vs. your own evals - 05:34 Designing evals like a scientist - 07:05 Trace the whole pipeline - 08:50 Choose what you measure - 09:48 Quality gates that actually stop work - 11:20 The human review bottleneck - 12:20 When the agent's record can't be trusted - 13:21 Production is truth - 15:05 When to escalate to a human Stephanie Jarmak, Omni Analytics: https://omni.co Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!