Une banque a entraîné son propre modèle de fondation pour détecter la fraude — Freddy Lecue, Wells Fargo
원제 · A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo
핵심 요약
Le passage à un modèle de fondation de transactions basé sur des transformateurs permet à Wells Fargo d'améliorer la détection des fraudes et de réduire les faux positifs par rapport à XGBoost.
하이라이트
Wells Fargo a développé son propre modèle de fondation à partir de zéro, entraîné sur des milliards de transactions financières de clients provenant de cartes de débit, de cartes de crédit et de chèques.
L'architecture repose sur des blocs de transformateurs spécifiquement adaptés aux données tabulaires et financières plutôt qu'au traitement du langage naturel.
Le nouveau modèle surpasse le système XGBoost précédemment utilisé en production, offrant un meilleur taux de détection des fraudes et une réduction significative des faux positifs.
Le temps de latence pour l'inférence est maintenu sous la limite requise de 250 millisecondes pour l'évaluation en temps réel des transactions.
Cette base unique est conçue pour être réutilisée dans plusieurs tâches en aval, telles que l'évaluation du crédit, la modélisation des risques, le marketing et la lutte contre le blanchiment d'argent.
타임라인
Motivation et conception du modèle de fondation financier
Les institutions financières disposent d'un volume considérable de données transactionnelles issues de la banque de détail, de la banque d'investissement et de nombreux canaux numériques. Plutôt que d'appliquer directement des modèles de langage généralistes, la création d'un modèle de fondation spécifique aux transactions permet de unifier l'apprentissage à travers l'ensemble de l'organisation. Cette approche centralisée offre une base réutilisable pour optimiser les performances sur de multiples cas d'usage.
- Les services financiers manipulent de grandes quantités de données tabulaires structurées en plus des données textuelles.
- L'objectif consiste à remplacer des modèles cloisonnés par une structure unique capable d'apprendre des représentations de transactions à grande échelle.
- Le modèle de fondation intègre toutes les transactions clients pour alimenter diverses tâches en aval comme l'évaluation du crédit ou la détection de la fraude.
Architecture et traitement des données tabulaires
Contrairement aux modèles linguistiques qui prédisent le jeton textuel suivant, le modèle financier prédit la transaction ou le profil client suivant. Le traitement repose sur l'encodage de caractéristiques brutes et hétérogènes, allant des montants de transactions aux codes postaux. L'application des lois de mise à l'échelle de Chinchilla a permis de dimensionner le modèle autour d'un milliard de paramètres pour maximiser le retour sur investissement initial.
- L'entraînement s'effectue à partir de zéro sur un cluster de GPU en utilisant des blocs de transformateurs à décodeur unique.
- Cinq dimensions principales structurent l'analyse : l'acteur, le type de transaction, le canal, le moment et le lieu.
- La phase de tokenisation et la gestion d'un vocabulaire spécifique au secteur financier constituent les aspects les plus complexes du processus.
Résultats et gains opérationnels en production
L'évaluation de la tâche en aval de classification des fraudes démontre une supériorité nette par rapport au modèle XGBoost en production. La capacité d'attention des transformateurs permet de relier chaque nouvelle opération aux comportements passés sans nécessiter d'ingénierie de caractéristiques manuelle complexe. Cette efficacité opérationnelle se traduit par une diminution des contestations injustifiées et une meilleure protection des clients.
- L'architecture à base de transformateurs capture efficacement les relations temporelles entre la transaction actuelle et l'historique complet du client.
- Le système répond aux exigences de performance en effectuant l'analyse en moins de 250 millisecondes par transaction.
- L'utilisation du modèle de fondation génère des millions de dollars d'économies grâce à la baisse des faux positifs et à l'évitement des coûts de support.
설명
Freddy Lecue explains how Wells Fargo pre-trained its own transformer from scratch on billions of customer transactions instead of words. The model learns to predict the next transaction, and that one backbone can then be fine-tuned for fraud detection, credit line decisions, anti-money laundering and marketing. He covers the hardest part, turning tabular data like amounts, timing, merchants and zip codes into tokens, plus the model's size and training setup. On fraud, it caught more fraudulent transactions with fewer false alarms than the production XGBoost model, while staying fast enough for real-time card approvals. Chapters: - 00:00 Why a foundation model for transactions - 02:14 Why not just XGBoost? - 02:47 Billions of transactions - 03:22 Language models vs. transaction models - 04:45 Pre-training from scratch - 05:58 Who, what, how, when and where - 07:59 Turning tabular data into tokens - 09:42 Architecture and scaling - 12:10 Training setup - 13:44 Fraud detection results - 16:47 Recap Freddy Lecue, Wells Fargo: https://www.wellsfargo.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!