Eine Bank trainierte ihr eigenes Foundation-Modell zur Betrugserkennung — Freddy Lecue, Wells Fargo
원제 · A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo
핵심 요약
Ein von Grund auf trainiertes Transaktions-Basismodell auf Transformer-Basis ersetzt herkömmliche XGBoost-Modelle und steigert die Betrugserkennungsrate bei gleichzeitiger Reduzierung von Fehlalarmen im Millionenwert.
하이라이트
Wells Fargo hat ein eigenes Transaktions-Basismodell auf Basis von Transformer-Blöcken entwickelt, das monatlich Milliarden von Kundentransaktionen verarbeitet.
Das Modell übertrifft das bisherige Produktionsmodell auf Basis von XGBoost sowohl bei der Betrugserkennungsrate als auch bei der Reduzierung von Fehlalarmen.
Das Vortraining des Modells von Grund auf auf einem GPU-Cluster dauerte je nach Durchlauf einige Tage bis Wochen.
Die Inferenzzeit des Modells liegt unter dem erforderlichen Zeitfenster von 250 Millisekunden für Transaktionsprüfungen.
Das gemeinsame Fundament wird neben der Betrugserkennung auch für Kreditlimit-Erhöhungen, Anti-Geldwäsche-Modellierung und Marketingzwecke eingesetzt.
타임라인
Motivation und Übergang zu Transaktions-Basismodellen
Im Finanzsektor fallen riesige Mengen strukturierter Daten über Kreditkarten-, Debitkarten- und Schecktransaktionen an. Anstatt diese Daten in Sprachmodelle einzuspeisen oder für jede Aufgabe isolierte Modelle zu nutzen, baut die Bank ein zentrales Fundament. Dieses Backbone dient als gemeinsame Basis für nachgelagerte Aufgaben wie Kredit-Scoring, Betrugserkennung und Marketing. Im Vergleich zu den bisherigen XGBoost-Produktionsmodellen liefert dieser Ansatz deutlich bessere Erkennungsraten und weniger Fehlalarme.
- Finanzdienstleister verarbeiten neben unstrukturierten Daten vor allem strukturierte Tabellendaten aus Kundentransaktionen.
- Ein einheitliches Backbone-Modell ersetzt zahlreiche isolierte Modelle über verschiedene Organisationseinheiten hinweg.
- Das neue Transformer-basierte Modell schlägt herkömmliche XGBoost-Verfahren bei der Latenz und der Fehlererkennung.
Architektur und Datenverarbeitung im großen Maßstab
Das Fundamentmodell wird auf Basis von Milliarden von Transaktionen und Millionen von Konten mit einer reinen Decoder-Architektur trainiert. Dabei werden die Beziehungen zwischen Rohmerkmalen direkt gelernt, wodurch der Aufwand für manuelles Feature-Engineering entfällt. Die heterogenen Daten – von Transaktionsbeträgen über IP-Adressen bis hin zu Postleitzahlen – erfordern eine präzise Tokenisierung. Für das Training kommen etablierte Techniken wie Mixed Precision, FlashAttention und Activation Checkpointing zum Einsatz.
- Das Training erfolgt von Grund auf mit Milliarden von monatlichen Kundentransaktionen aus verschiedenen Kanälen.
- Die Rohmerkmale lassen sich in fünf Hauptdimensionen unterteilen: Akteur, Kaufgegenstand, Kanal, Zeitpunkt und Ort.
- Eine komplexe Tokenisierung übersetzt numerische und kategorische Werte sowie Postleitzahlen in IDs und Embeddings.
Ergebnisse und geschäftlicher Nutzen
Bei der nachgelagerten Betrugsklassifikation bewertet das Modell eine laufende Transaktion unter Berücksichtigung der gesamten historischen Sequenz. Das System arbeitet schnell genug, um die strengen Latenzanforderungen von unter einer Viertelsekunde einzuhalten. Geringere Fehlalarme bedeuten weniger Kundenanrufe und vermiedene Umsatzeinbußen durch fälschlicherweise abgelehnte Zahlungen. Das gleiche Basismodell lässt sich zudem flexibel für weitere Geschäftsbereiche wie Geldwäschebekämpfung und Kreditvergabe nutzen.
- Die Transformer-Architektur erfasst die historischen Beziehungen zwischen aktuellen und vergangenen Transaktionen optimal.
- Die Inferenz erfolgt in unter 250 Millisekunden, um Transaktionen rechtzeitig zu prüfen.
- Die Reduzierung von Fehlalarmen senkt operative Kosten und verhindert den Verlust legitimer Umsätze.
설명
Freddy Lecue explains how Wells Fargo pre-trained its own transformer from scratch on billions of customer transactions instead of words. The model learns to predict the next transaction, and that one backbone can then be fine-tuned for fraud detection, credit line decisions, anti-money laundering and marketing. He covers the hardest part, turning tabular data like amounts, timing, merchants and zip codes into tokens, plus the model's size and training setup. On fraud, it caught more fraudulent transactions with fewer false alarms than the production XGBoost model, while staying fast enough for real-time card approvals. Chapters: - 00:00 Why a foundation model for transactions - 02:14 Why not just XGBoost? - 02:47 Billions of transactions - 03:22 Language models vs. transaction models - 04:45 Pre-training from scratch - 05:58 Who, what, how, when and where - 07:59 Turning tabular data into tokens - 09:42 Architecture and scaling - 12:10 Training setup - 13:44 Fraud detection results - 16:47 Recap Freddy Lecue, Wells Fargo: https://www.wellsfargo.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!