Einen KI-Agenten zu bauen ist einfach. Zu beweisen, dass er sicher ist, nicht - Jonathan Osborne, NatWest

하이라이트

• Die NatWest Group bedient rund 19 Millionen Privatkunden und betreibt mit dem digitalen Assistenten Cora etwa 100.000 Gespräche pro Tag.

• Ungefähr ein Drittel der Cora-Abläufe wird auf KI-generierte Antworten mit RAG und autonomen Agenten umgestellt.

• Eine manuelle Validierung von 111 Unterhaltungen über 37 Zahlungsabläufe ergab eine gesamte Erfolgsquote von 83 Prozent, wobei Standardszenarien 97 Prozent und Themenwechsel nur 43 Prozent erreichten.

• Ein interner Beschwerdeagent verarbeitet rund 14.000 Fälle, die sowohl von menschlichen Prüfern als auch von einem LLM als Schiedsrichter bewertet wurden.

• Ein unkalibriertes LLM als Schiedsrichter zeigt eine gegen Null tendierende Korrelation zum menschlichen Urteil und bewertet Fälle zu großzügig.

타임라인

1. 00:00 - 02:24

   Einführung und die Herausforderungen im Bankwesen

   Jonathan Osborne stellt die NatWest Group und den digitalen Assistenten Cora vor. Während die Programmierhilfen die Erstellung von KI-Agenten erleichtern, liegt die wahre Schwierigkeit darin, die Sicherheit in einer regulierten Umgebung zu gewährleisten. Bei 19 Millionen Kunden führt ein Interpretationsfehler nicht zu einem einfachen Bug-Ticket, sondern betrifft echtes Geld und regulatorische Vorgaben.

   • Die NatWest Group ist die zweitgrößte Retail-Bank im Vereinigten Königreich mit 19 Millionen Privatkunden.
   • Der digitale Assistent Cora verarbeitet täglich 100.000 Gespräche, die bisher überwiegend skriptbasiert abliefen.
   • Ein Drittel der Abläufe wird auf KI-Antworten und Agenten für Transaktionen umgestellt.
   • Der Einsatz bei Millionen von Kunden birgt erhebliche Risiken bezüglich Echtheitsgeld, Regulierungsfragen und Imageschaden.
2. 02:24 - 04:54

   Fehlermöglichkeiten agentenbasierter Systeme

   Anhand eines Beispiels zur vorzeitigen Hypothekenrückzahlung wird der Unterschied zwischen starren Menüs und flexibler KI demonstriert. Themenwechsel überfordern klassische Entscheidungsbäume. Gleichzeitig besitzen Agenten vier grundlegende Fehlermodi, da sie überzeugend halluzinieren können, anfällig für Prompt-Injection sind, sich im Kreis drehen oder nicht-deterministische Antworten liefern.

   • Skriptbasierte Bots scheitern bei Themenwechseln und führen zu Kundenfrustration.
   • Agenten basieren auf Schlussfolgern und Generieren, was vier neue Fehlermöglichkeiten erzeugt.
   • Zu diesen Fehlern gehören überzeugende Halluzinationen, Prompt-Injections, irrelevante Endlosschleifen und Nicht-Determinismus.
   • Traditionelle Regressionstests für Kernroutinen funktionieren bei agentenbasierten Systemen nicht mehr.
3. 04:54 - 06:37

   Reduzierung der Angriffsfläche durch den Routing-Trichter

   Um die Risiken zu minimieren, setzt NatWest einen Routing-Trichter ein. Dieser besteht aus kontextbezogenen Filtern, deterministischen Vorklassifizierungsregeln, einem Relevanzschritt, einem Intent-Klassifizierer und Richtlinienregeln. Diese Architektur gewährleistet Zugangskontrolle, vollständige Prüfbarkeit für Aufsichtsbehörden, Resilienz bei Modellausfällen und versionierte Governance.

   • Ein mehrstufiger Routing-Trichter verkleinert die Angriffsfläche vor dem Auslösen von Modellen.
   • Kontextbezogene Filter fangen etwa 20 Prozent der Klicks auf Schaltflächen ab.
   • Deterministic Vorklassifizierungsregeln leiten Anfragen ohne ML weiter.
   • Der Intent-Klassifizierer nutzt ein neuronales Netzwerk über Embeddings anstelle generativer KI.
4. 06:37 - 10:27

   Metriken, menschliche Validierung und Evaluierung

   Einfache Genauigkeitswerte von 94 Prozent greifen zu kurz. NatWest bewertet Interaktionen in den drei Kategorien Sicherheit, Aufgabe und Erfahrung. Die manuelle Validierung von Zahlungsabläufen zeigt große Leistungsunterschiede zwischen Standardszenarien und komplexen Themenwechseln. Zudem offenbart sich eine Diskrepanz bei der menschlichen Übereinstimmung bezüglich der Nutzerabsicht.

   • Die Messung erfolgt über einen Vektor aus Sicherheit, Aufgabe und Erfahrung anstelle eines einzelnen Accuracy-Scores.
   • Eine menschliche Validierung von 111 Unterhaltungen ergab 83 Prozent Gesamterfolg, mit 97 Prozent bei Standardszenarien und 43 Prozent bei Themenwechseln.
   • Menschen stimmen bei objektiven Kriterien wie Fairness zu 95 Prozent überein, bei der Absicht jedoch nur zu 64 Prozent.
   • Ein Router mit hoher Konfidenz in falschen Fällen ist gefährlicher als ein System mit niedriger Zuversicht.
5. 10:27 - 14:02

   LLM als Schiedsrichter und Produktionsinfrastruktur

   Beim internen Beschwerdeagenten zeigt sich, dass unkalibrierte LLM-Schiedsrichter unzuverlässig sind und eine geringe Korrelation zu menschlichen Bewertungen aufweisen. NatWest nutzt OpenTelemetry (OTel) und Comet, um Traces, Scores und Experimente in einer isolierten AWS-Umgebung zu verwalten. Dabei wird sichergestellt, dass keine persönlich identifizierbaren Informationen (PII) das Netzwerk verlassen.

   • Ein interner Beschwerdeagent verarbeitet 14.000 Fälle mit LLM-Schiedsrichtern und menschlichen Prüfern.
   • Unkalibrierte Schiedsrichtermodelle neigen zu übermäßiger Großzügigkeit und zeigen eine Korrelation von Nahezu Null.
   • Durch den Einsatz unterschiedlicher Modellfamilien für Agent und Schiedsrichter werden blinde Flecken minimiert.
   • Die Infrastruktur erfasst Traces über OpenTelemetry und speichert sie in Comet.
6. 14:02 - 17:52

   Shadow-Deployments, Rollouts und Fazit

   Abschließend erläutert Osborne die Implementierung über Shadow-Deployments, um Produktionsdaten ohne Live-Risiko zu sammeln. Prozesstore, Feature-Flags und CI/CD-Integrationen verhindern unerwartete Regressionsfehler. Das Evaluierungs-Spine stellt sicher, dass generative KI und traditionelles ML in einer einheitlichen Plattform überwacht werden, bevor die Systeme vollständig ausgerollt werden.

   • Shadow-Deployments klassifizieren Kundenäußerungen parallel zur skriptbasierten Lösung bei nahezu null Risiko.
   • Feature-Flags ermöglichen die Isolierung einzelner Backends und sekundenschnelle Rollbacks.
   • Das menschliche Feedback beim Beschwerdeagenten dient als striktes Tor für Sachbearbeiter und generiert wertvolle Trainingsdaten.
   • Kontinuierliche Evaluierung, Schiedsrichter-Kalibrierung und CI/CD-Regressionssperren bilden das Fundament der Produktion.