Créer un agent IA est facile. Prouver qu'il est sûr ne l'est pas - Jonathan Osborne, NatWest

Highlights

• NatWest compte 19 millions de clients particuliers au Royaume-Uni.

• L'assistant numérique Cora gère environ 100 000 conversations par jour.

• L'agent de paiement atteint un taux de réussite global de 83 % lors de la validation humaine sur 111 conversations.

• Le déploiement fantôme permet d'analyser les requêtes réelles des clients avec un risque presque nul.

• L'évaluation continue hors ligne est effectuée toutes les quatre heures.

Timeline

1. 00:00 - 02:24

   Introduction et contexte bancaire

   Jonathan Osborne présente le groupe NatWest et son assistant numérique Cora. Il explique que la création d'un agent IA est devenue facile grâce aux outils modernes, mais que le défi majeur réside dans la preuve de sa sécurité face à un grand nombre de clients et à des exigences réglementaires strictes.

   • NatWest est la deuxième plus grande banque de détail au Royaume-Uni avec 19 millions de clients particuliers.
   • L'assistant numérique Cora traite environ 100 000 conversations par jour à l'aide de réponses principalement scriptées.
   • Un tiers des parcours de Cora intègre des réponses générées par IA et des agents autonomes.
2. 02:24 - 06:38

   Modes de défaillance des agents et entonnoir de routage

   L'analyse d'un exemple concret montre comment un utilisateur change de sujet, ce qui met en échec les arbres de décision traditionnels. Pour contrer les risques liés au raisonnement autonome, NatWest met en place un entonnoir de routage à plusieurs niveaux avant d'activer les modèles de langage.

   • Quatre modes de défaillance majeurs caractérisent les agents : l'assurance excessive dans l'erreur, la vulnérabilité aux injections de prompt, l'inefficacité malgré la justesse, et le non-déterminisme.
   • L'entonnoir de routage filtre les requêtes via un contexte, des règles déterministes, une reformulation et un classificateur d'intention.
   • Cette architecture garantit le contrôle d'accès, la traçabilité exigée par le régulateur et la résilience.
3. 06:38 - 12:08

   Validation humaine et évaluation par LLM

   L'évaluation ne se résume pas à un score unique. Les tests humains démontrent des performances élevées sur les cas nominaux mais plus faibles sur les changements de sujets. L'automatisation de l'évaluation via un LLM nécessite des ajustements rigoureux pour éviter les biais et les changements de comportement lors des mises à jour des modèles.

   • L'évaluation de la qualité est traitée comme un vecteur évaluant la sécurité, la tâche et l'expérience.
   • La validation humaine sur l'agent de paiement révèle un taux de réussite global de 83 %, masquant des écarts importants selon les scénarios.
   • L'utilisation d'un LLM comme évaluateur sur un agent de réclamations montre une forte indulgence par défaut et une corrélation faible avec les notes humaines.
4. 12:08 - 17:52

   Observabilité, déploiement fantôme et perspectives

   La surveillance continue s'intègre directement dans la chaîne CI/CD avec des verrous de non-régression stricts. Le déploiement fantôme résout le dilemme réglementaire en combinant l'observation de données réelles et la sécurité de la solution scriptée existante.

   • Les traces de conversations sont capturées via OpenInference et OpenTelemetry, puis analysées via Comet et Opik.
   • Le déploiement fantôme permet d'observer les performances sur des données réelles de production en arrière-plan sans impacter les clients.
   • Les indicateurs de fonction feature flags permettent d'isoler et de réorienter le trafic en quelques secondes en cas de dysfonctionnement.