Банк обучил собственную фундаментальную модель для выявления мошенничества — Фредди Леку, Wells Fargo
원제 · A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo
핵심 요약
Создание единой фундаментальной модели транзакций объемом в 1 миллиард параметров вместо разрозненных алгоритмов XGBoost повышает эффективность обнаружения мошенничества и сокращает число ложных срабатываний в масштабах банка.
하이라이트
Wells Fargo разработала собственную фундаментальную модель на базе блоков трансформеров для анализа миллиардов клиентских транзакций ежемесячно.
Первая версия модели содержала 1 миллиард параметров, а в разработке находится версия на 11 миллиардов параметров.
Архитектура модели основана на пяти основных измерениях данных: участники транзакции, тип покупки, канал оплаты, время и место.
Новая модель превосходит традиционные решения XGBoost, обеспечивая более высокий процент обнаружения мошенничества и меньшее число ложноположительных срабатываний.
Время инференса модели составляет менее 250 миллисекунд, что удовлетворяет требованиям для оперативного отклонения платежей.
타임라인
Переход от языковых к транзакционным фундаментальным моделям
Финансовые организации располагают гигантскими объемами структурированных транзакционных данных по дебетовым, кредитным и цифровым картам. Вместо универсальных языковых моделей или изолированных систем банк создает единую фундаментальную модель. Она изучает паттерны поведения клиентов для последующего дообучения под различные прикладные задачи, включая кредитный скоринг и мониторинг рисков.
- Банки обрабатывают огромные массивы структурированных табличных данных из различных клиентских каналов.
- Фундаментальная модель транзакций предсказывает следующее действие клиента, объединяя разрозненные задачи в единую основу.
- Архитектура на базе блоков трансформеров создается с нуля для использования во всех подразделениях финансовой организации.
Структура данных и токенизация сырых признаков
Обработка данных охватывает миллионы счетов и сотни ежемесячных транзакций на каждого клиента. Архитектура опирается на исходные параметры транзакций, позволяя трансформерам самостоятельно находить скрытые взаимосвязи. Процесс токенизации преобразует гетерогенные данные вроде почтовых индексов и сумм в стандартизированные эмбеддинги.
- Миллиарды транзакций распределяются по пяти ключевым измерениям: участники, тип, канал, время и место.
- Модель использует около сотни сырых признаков вместо трудоемкого ручного инжиниринга признаков.
- Специфический финансовый словарь требует сложной токенизации числовых и категориальных значений.
Архитектура модели, обучение и результаты обнаружения мошенничества
Обучение модели опирается на принципы распределенного параллелизма данных и оптимизации памяти с использованием современных аппаратных решений. Применение механизма внимания позволяет учитывать всю предысторию операций конкретного клиента. В результате банк добивается миллионной экономии за счет точного пресечения мошеннических операций без блокировки легитимных платежей.
- Первая версия модели использует 1 миллиард параметров, а в разработке находится вариант на 11 миллиардов.
- Модель превосходит классический XGBoost благодаря механизмам внимания к историческим транзакциям.
- Система обеспечивает задержку менее 250 миллисекунд при повышении уровня выявления мошенничества и сокращении ложных срабатываний.
설명
Freddy Lecue explains how Wells Fargo pre-trained its own transformer from scratch on billions of customer transactions instead of words. The model learns to predict the next transaction, and that one backbone can then be fine-tuned for fraud detection, credit line decisions, anti-money laundering and marketing. He covers the hardest part, turning tabular data like amounts, timing, merchants and zip codes into tokens, plus the model's size and training setup. On fraud, it caught more fraudulent transactions with fewer false alarms than the production XGBoost model, while staying fast enough for real-time card approvals. Chapters: - 00:00 Why a foundation model for transactions - 02:14 Why not just XGBoost? - 02:47 Billions of transactions - 03:22 Language models vs. transaction models - 04:45 Pre-training from scratch - 05:58 Who, what, how, when and where - 07:59 Turning tabular data into tokens - 09:42 Architecture and scaling - 12:10 Training setup - 13:44 Fraud detection results - 16:47 Recap Freddy Lecue, Wells Fargo: https://www.wellsfargo.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!