Sebuah Bank Melatih Model Fondasinya Sendiri untuk Mendeteksi Penipuan — Freddy Lecue, Wells Fargo
원제 · A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo
핵심 요약
Pelatihan model fondasi transaksi berbasis transformer dari awal menghasilkan peningkatan tingkat deteksi penipuan dan pengurangan positif palsu yang mengungguli model XGBoost konvensional di Wells Fargo.
하이라이트
Wells Fargo membangun model fondasi berbasis transaksi pertama dari awal menggunakan arsitektur blok transformer pada kluster GPU.
Model fondasi transaksi ini mengungguli model XGBoost produksi dalam hal latensi, tingkat deteksi penipuan, dan pengurangan positif palsu.
Pelatihan model didasarkan pada miliaran transaksi bulanan dari berbagai saluran termasuk kartu debit, kartu kredit, dan cek.
Proses pelatihan mencakup lima dimensi utama transaksi yaitu pelaku, objek, saluran, waktu, dan lokasi yang diurai menjadi ribuan fitur mentah.
Arsitektur model menggunakan model khusus decoder untuk mempelajari hubungan historis antar transaksi nasabah dari waktu ke waktu.
타임라인
Motivasi dan Tujuan Pembuatan Model Fondasi
Layanan keuangan mengandalkan data terstruktur dan tabular dari perbankan investasi dan konsumen. Alih-alih langsung menggunakan model bahasa, data transaksi nasabah dari kartu debit, kartu kredit, digital, dan cek digabungkan untuk membangun satu tulang punggung yang dapat disesuaikan untuk berbagai tugas hilir.
- Organisasi keuangan memiliki volume data terstruktur dan tabular yang masif dari berbagai saluran perbankan.
- Model fondasi transaksi dirancang sebagai tulang punggung tunggal untuk berbagai tugas hilir seperti penilaian kredit dan deteksi penipuan.
- Pendekatan ini menggantikan model terisolasi dengan representasi transaksi nasabah dalam skala besar.
Arsitektur dan Pendekatan Pra-Pelatihan
Berbeda dengan model bahasa yang memproses token bahasa, model fondasi transaksi memproses transaksi sebagai unit dasar. Pra-pelatihan dilakukan dari awal menggunakan arsitektur blok transformer untuk mengenali pola transaksi berikutnya dari nasabah di berbagai saluran.
- Model dilatih sebelumnya dari awal menggunakan kluster GPU selama beberapa hari hingga minggu.
- Basis pelatihan berfokus pada prediksi transaksi atau token berikutnya dalam urutan nasabah.
- Skala operasional mencakup miliaran transaksi dan jutaan akun setiap bulannya.
Fitur, Tokenisasi, dan Pengaturan Parameter
Karakteristik data keuangan yang unik memerlukan tokenisasi khusus untuk menangani nilai kuantitatif, kualitatif, alamat IP, dan kode pos. Model menggunakan arsitektur khusus decoder yang dioptimalkan dengan prinsip Chinchilla untuk menyeimbangkan ukuran parameter dan jumlah token.
- Proses penguraian menghasilkan ribuan fitur mentah berdasarkan lima dimensi utama transaksi.
- Tokenisasi mengubah nilai numerik, kategorikal, dan atribut spesifik perbankan ke dalam bentuk token dan penyematan.
- Arsitektur khusus decoder dengan skala parameter satu miliar memberikan peningkatan performa yang optimal.
Hasil Performa dan Peningkatan Bisnis
Integrasi hubungan historis antar transaksi melalui mekanisme atensi transformer memberikan keunggulan signifikan dalam klasifikasi penipuan. Pencapaian ini menghasilkan penghematan jutaan dolar serta membuka peluang penerapan pada fungsi perbankan lainnya.
- Model fondasi transaksi berhasil meningkatkan tingkat deteksi penipuan dibandingkan model XGBoost.
- Pengurangan positif palsu menekan biaya operasional dan mencegah penolakan transaksi sah.
- Tulang punggung yang sama kini dieksplorasi untuk kenaikan batas kredit dan pencegahan pencucian uang.
설명
Freddy Lecue explains how Wells Fargo pre-trained its own transformer from scratch on billions of customer transactions instead of words. The model learns to predict the next transaction, and that one backbone can then be fine-tuned for fraud detection, credit line decisions, anti-money laundering and marketing. He covers the hardest part, turning tabular data like amounts, timing, merchants and zip codes into tokens, plus the model's size and training setup. On fraud, it caught more fraudulent transactions with fewer false alarms than the production XGBoost model, while staying fast enough for real-time card approvals. Chapters: - 00:00 Why a foundation model for transactions - 02:14 Why not just XGBoost? - 02:47 Billions of transactions - 03:22 Language models vs. transaction models - 04:45 Pre-training from scratch - 05:58 Who, what, how, when and where - 07:59 Turning tabular data into tokens - 09:42 Architecture and scaling - 12:10 Training setup - 13:44 Fraud detection results - 16:47 Recap Freddy Lecue, Wells Fargo: https://www.wellsfargo.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!