Comment rédiger votre première évaluation d'IA - SallyAnn DeLucia, Arize AI

하이라이트

• Un juge LLM évalue efficacement une seule dimension de qualité à la fois au lieu de critères multiples.

• L'agent IA Alex dans Arize utilise 32 évaluations distinctes en production après avoir débuté avec un jeu restreint.

• Les métriques indiquent qu'une défaillance existe tandis que les évaluations identifient le mode de défaillance exact.

• L'amorce d'un pipeline d'évaluation repose sur un échantillon restreint de 20 traces annotées.

• Les tests unitaires traditionnels vérifient une entrée pour une sortie unique, alors que les agents génèrent de multiples sorties valides analysables uniquement par leurs traces d'exécution.

타임라인

1. 00:00 - 05:14

   Limites des vérifications subjectives et rôle des traces

   L'absence de mesures objectives conduit à des déploiements instables où personne ne peut prouver l'origine d'un dysfonctionnement. Contrairement au code déterministe où la logique interne est lisible directement, un agent IA opère par une série d'appels LLM et d'outils visibles uniquement sous forme de traces. L'observabilité par traçage constitue donc le socle obligatoire pour concevoir des tests de performance fiables.

   • Les modifications de prompt sans évaluation formelle masquent les régressions et empêchent les comparaisons objectives de modèles.
   • Les tests unitaires logiciels ne s'appliquent pas aux agents IA en raison de la pluralité des sorties acceptables pour une même requête.
   • Les traces représentent les journaux d'exécution indispensables pour observer les étapes intermédiaires d'un système multi-agents.
2. 05:15 - 07:28

   Typologie des évaluations pour agents IA

   Différentes approches coexistent selon le cycle de vie de l'application. Les juges LLM, les modèles de décision, le code et les annotations de référence fonctionnent aussi bien en développement qu'en production pour éviter les investissements à usage unique. L'agent comme juge intervient plus récemment pour inspecter des critères de réussite hautement complexes au sein d'autres agents.

   • Le LLM comme juge fournit un label ainsi qu'une explication textuelle du raisonnement.
   • Les modèles de décision offrent une alternative plus rapide et économique en renvoyant directement une probabilité sans explication.
   • Les évaluations par code traitent les critères déterministes comme la validation de syntaxe JSON ou les scores ROUGE et BLEU.
3. 07:29 - 19:02

   Navigation et inspection de traces dans Arize

   L'analyse d'un agent de voyage multi-agents illustre comment une requête pour Prague avec 800 dollars de budget se décompose en plusieurs étapes techniques. Un premier appel LLM choisit l'outil de récupération de données, l'outil interroge les sources externes, puis un second LLM synthétise le contexte pour bâtir l'itinéraire. L'instrumentation capture ces flux pour isoler les spans spécifiques nécessaires à l'évaluation.

   • La configuration requiert une clé API LLM compatible avec divers fournisseurs comme OpenAI, Anthropic ou Gemini.
   • Le span racine sans identifiant parent regroupe l'entrée utilisateur originale et la réponse finale de l'agent.
   • Chaque span intermédiaire représente une unité de travail distincte comme la sélection d'outil ou le résumé d'informations.
4. 19:03 - 25:18

   Formulation de critères précis et cycle itératif

   L'efficacité d'un juge dépend de la précision des définitions de succès et d'échec transmises dans l'invite. Définir des attentes claires permet d'éviter les ambiguïtés lors de la notation automatisée. La complexité du système d'évaluation s'élargit progressivement avec le volume de données en production, à l'exemple de l'agent Alex passé d'une poignée de contrôles à 32 critères distincts.

   • Des critères concrets remplacent les adjectifs vagues par des contraintes mesurables comme le respect du budget ou du calendrier.
   • Les juges LLM atteignent une meilleure précision lorsqu'ils n'évaluent qu'une seule qualité par prompt.
   • La rédaction de critères détaillés sous forme de puces prépare directement le prompt du juge LLM.
5. 25:19 - 35:18

   Création, test et intégration du juge LLM dans le Playground

   Le processus de création s'articule autour de l'espace de test de prompts où l'on charge les spans extraits avant d'exécuter un modèle comme GPT-4o-mini. L'ajustement du prompt s'effectue en confrontant les labels et explications générés aux jugements humains. Une fois validé, l'évaluateur s'enregistre pour surveiller les traces en continu et identifier précisément les causes de dysfonctionnement aux côtés des métriques système.

   • Le filtrage des traces par attributs isole les spans pertinents pour les exporter dans un jeu de données de test.
   • Le mappage de variables découple le modèle d'évaluation de la structure brute des données de trace.
   • L'évaluation en ligne applique les règles de manière continue sur chaque nouvelle trace entrante en production.