Une IA vocale dont une seule mauvaise question brise les règles - Shiv Indap, Upstart & Brooke Hopkins, Coval

Highlights

• Environ 90 % des demandeurs de prêts Upstart obtiennent une décision instantanée, tandis que les 10 % restants passent par un agent vocal automatisé pour vérifier certaines informations.

• Le taux d'accord initial entre le juge LLM et les évaluateurs humains sur les critères de conformité s'établit à 33 % au lancement.

• L'alignement progressif des critères et le traitement des connaissances tacites permettent d'atteindre un taux d'accord de 92 % entre le juge LLM et les examinateurs humains.

• Le suivi des performances d'un agent vocal repose sur des métriques clés incluant la précision, la clarté, l'exhaustivité, l'alignement sur les politiques et le score de satisfaction client.

• L'utilisation d'une boucle d'évaluation continue permet d'analyser les appels en direct, de détecter des schémas d'échec et d'acheminer les cas problématiques vers des files d'attente de révision humaine.

Timeline

1. 00:00 - 05:00

   Contexte d'utilisation et exigences réglementaires des agents vocaux

   Les agents vocaux autonomes partagent des similarités architecturales avec les véhicules autonomes en matière de fiabilité sur des trajectoires complexes. Chez Upstart, entreprise de technologie financière spécialisée dans le prêt, les appels automatisés traitent des données sensibles et posent des questions spécifiques sur les sources de revenus, l'utilisation des fonds et les obligations en cours. La moindre déviation réglementaire lors de ces échanges entraîne des conséquences graves, ce qui rend l'audit initial indispensable.

   • Coval développe des évaluations pour les agents vocaux en s'inspirant des infrastructures de simulation de véhicules autonomes.
   • Upstart déploie des agents vocaux pour automatiser les appels de vérification auprès de 10 % des demandeurs de prêts n'ayant pas reçu de décision instantanée.
   • Le secteur financier hautement réglementé impose un respect strict des règles pour éviter tout problème juridique lors des interactions téléphoniques.
2. 05:00 - 08:52

   Évolution des métriques et du taux d'accord de conformité

   L'évaluation de la performance s'effectue au moyen d'un juge LLM fonctionnant en fin d'appel. Les équipes débutent l'analyse des données à l'aide de tableurs partagés, mais la multiplication des colonnes et des intervenants nuit rapidement à la structure. En affinant les métriques et en formalisant les règles tacites de conformité issues des retours humains, le système parvient à combler l'écart de jugement initial.

   • Un juge LLM évalue automatiquement chaque appel à l'aide d'un système de questions binaires accompagnées d'explications.
   • Le suivi initial s'appuie sur des tableaux de type Google Sheet avant d'évoluer vers un processus d'examen structuré.
   • Le taux d'accord entre le juge LLM et les évaluateurs humains progresse de 33 % à 92 % grâce à la formalisation des connaissances tacites.
3. 08:52 - 16:57

   Boucle d'amélioration continue et simulations avant production

   La méthodologie d'amélioration continue consiste à déplacer la détection des pannes vers la phase de simulation pour protéger les utilisateurs finaux. Les défaillances identifiées sont acheminées vers les équipes compétentes, qu'il s'agisse de l'ingénierie ou de la conformité. Cette approche structurée permet de déployer des agents vocaux évolutifs et robustes tout en maintenant un contrôle réglementaire strict.

   • La boucle continue intègre la surveillance des conversations, la définition des métriques et le signalement des appels.
   • Les simulations vocales permettent de tester les correctifs face à différents bruits de fond, accents et interruptions avant le déploiement.
   • L'intervention humaine reste indispensable pour valider les modifications et garantir la sécurité des agents dans la technologie financière.