Sprach-KI, bei der eine falsche Frage die Regeln bricht – Shiv Indap, Upstart & Brooke Hopkins, Coval
원제 · Voice AI Where One Wrong Question Breaks the Rules - Shiv Indap, Upstart & Brooke Hopkins, Coval
핵심 요약
Robuste Evaluierungen und ein kontinuierlicher Feedback-Kreislauf aus automatisierter Überwachung, menschlicher Prüfung und Simulationen ermöglichen den sicheren Einsatz von Sprachagenten in regulierten Branchen.
하이라이트
Etwa 90 Prozent der Kreditbewerber bei Upstart erhalten sofort eine Entscheidung, während die restlichen 10 Prozent automatisierte Verifizierungsanrufe durchlaufen.
Die Übereinstimmungsrate zwischen LLM-Richtern und menschlichen Prüfern stieg durch kontinuierliches Feedback von anfänglich 33 Prozent auf 92 Prozent.
Autonome Sprachagenten im regulierten Kreditwesen erfordern präzise Evaluierungen, da Fehltritte neben schlechter Kundenerfahrung auch schwerwiegende regulatorische Probleme verursachen.
Ein initial genutztes Google Sheet für die manuelle Anrufprüfung scheiterte innerhalb weniger Wochen an unkontrolliert hinzugefügten Spalten und unstrukturierter Dateneingabe.
타임라인
Einführung von Sprachagenten im regulierten Kreditwesen
Autonome Sprachagenten ähneln in ihrer Komplexität selbstfahrenden Fahrzeugen, da sie präzise auf unvorhersehbare Reaktionen der Welt reagieren müssen. Bei Upstart decken diese Agenten die zehn Prozent der Kreditbewerber ab, die nach der Sofortentscheidung zusätzliche Informationen verifizieren müssen. Dabei müssen sie drei Kernfragen zu Einkommen, Mittelverwendung und ausstehenden Verpflichtungen klären und gleichzeitig komplexe regulatorische Compliance-Regeln einhalten.
- Sprachagenten im Autonomen- und Finanzsektor erfordern eine hohe Zuverlässigkeit über alle potenziellen Gesprächspfade hinweg.
- Upstart führt täglich Tausende von Anrufen für automatisierte Verifizierungsanrufe von Kreditbewerbern durch.
- Strikte regulatorische Vorgaben verbieten beispielsweise das Erfragen von Kreditbeträgen bei medizinischen Zwecken.
Herausforderungen bei der manuellen Überprüfung und Einführung von Metriken
Zu Beginn erforderte jeder automatisierte Anruf eine manuelle menschliche Überprüfung, wozu ein einfaches Tabellendokument verwendet wurde, das schnell unbrauchbar wurde. Um die Qualität zu sichern, wurden automatisierte LLM-Richter eingeführt, die Metriken wie Genauigkeit, Klarheit, Vollständigkeit und Richtlinieneinhaltung bewerten. Durch die systematische Einspeisung menschlichen Feedbacks in die Auswertung konnten verdeckte Wissenslücken geschlossen und die Zuverlässigkeit der automatisierten Bewertung drastisch erhöht werden.
- Ein initial eingesetztes Google Sheet kollabierte nach wenigen Wochen durch unkoordinierte Spaltenerweiterungen von 15 Mitarbeitern.
- LLM-Richter bewerten automatisierte Anrufe anhand von Ja/Nein-Kriterien und liefern strukturierte Erklärungen.
- Die Übereinstimmung zwischen menschlichen Prüfern und LLM-Richtern stieg durch das Kodieren impliziten Wissens von 33 auf 92 Prozent.
Kontinuierliche Verbesserungsschleife und Simulationen
Ein vollständiger Kreislauf aus Metrikdefinition, Live-Überwachung, menschlicher Kennzeichnung und zielgerichteter Korrektur bildet das Fundament für die Agentenoptimierung. Statt Fehler erneut direkt in der Produktion zu riskieren, werden Korrekturen in kontrollierten Simulationen getestet. Dadurch entsteht ein sicheres, skalierbares System, das strenge regulatorische Anforderungen erfüllt und die Leistungsfähigkeit autonomer Sprachagenten kontinuierlich steigert.
- Evaluierungen fungieren als eigentliche Produktdefinition für das erwünschte Verhalten des Sprachagenten.
- Fehlerhafte Live-Anrufe werden automatisch identifiziert, gefiltert und an die zuständigen Fachabteilungen wie Compliance oder Engineering weitergeleitet.
- Sprache-zu-Sprache-Simulationen testen Anpassungen vor dem Live-Gang auf Hintergrundgeräusche, Akzente und Unterbrechungen.
설명
Upstart handles thousands of lending calls a day, where one wrong question can become a regulatory problem. Shiv Indap, who leads voice AI at Upstart, and Brooke Hopkins, founder of Coval and former head of evaluation infrastructure at Waymo, walk through automating loan verification calls: the compliance traps, outgrowing a Google Sheet for human review, and raising agreement between the LLM judge and human reviewers from 33% to 92%. Then they lay out the full loop from live monitoring and human review queues to re-simulating fixes and self-healing agents, with every change still signed off by a human. Chapters: 0:00 Intro 1:02 Voice AI at Upstart 2:11 Automating verification calls 3:04 Where compliance gets tricky 4:14 Outgrowing the Google Sheet 5:28 Metrics and LLM judges 7:03 From 33% to 92% judge agreement 8:52 The continuous improvement loop 10:04 Defining metrics 10:51 Monitoring live calls 12:31 Re-simulating fixes before production 14:04 Self-healing agents 15:11 Wrap-up: humans stay in the loop Shiv Indap https://www.upstart.com Brooke Hopkins https://www.coval.dev Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!