사기 탐지를 위해 자체 파운데이션 모델을 학습시킨 은행 — 프레디 레큐, 웰스파고
원제 · A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo
핵심 요약
웰스파고는 트랜스포머 기반의 자체 거래 파운데이션 모델을 구축하여 기존 XGBoost 사기 탐지 모델의 한계를 극복하고 오탐률을 줄였다.
하이라이트
웰스파고는 수십억 건의 고객 거래 데이터를 기반으로 자체적인 금융 거래 파운데이션 모델을 처음부터 직접 사전 학습했다.
기존 프로덕션 환경에서 사용하던 XGBoost 모델과 비교해, 새 트랜스포머 기반 모델은 사기 탐지율을 높이고 거짓 양성(오탐)은 대폭 줄였다.
개발된 모델은 체크카드, 신용카드, 디지털 채널, 수표 등 다양한 경로에서 발생하는 월수백만 건의 계좌 거래 이력을 처리한다.
거래 주체, 구매 항목, 거래 채널, 발생 시간, 위치 등 5가지 주요 차원의 원시 피처와 특성들을 토큰화하여 모델에 학습시켰다.
사기 분류라는 다운스트림 태스크에 적용한 결과, 수백만 달러에 달하는 운영 비용 절감과 매출 손실 방지 효과를 거두었다.
타임라인
금융 데이터와 파운데이션 모델의 필요성
금융 기관들은 수많은 구조화된 표 형태의 거래 데이터를 보유하고 있으며, 단순 언어 모델에 이를 집어넣는 것보다 고객 거래 표현을 대규모로 학습하는 별도의 백본이 유리하다. 모든 거래 채널의 정보를 통합한 파운데이션 모델은 신용 평가, 사기 탐지, 안티 모델링, 마케팅 등의 다양한 다운스트림 태스크를 간소화하고 사일로화된 구조를 단일화한다.
- 파운데이션 모델은 언어 기반뿐만 아니라 표 형태의 구조화된 금융 거래 데이터 영역까지 확장될 수 있다.
- 체크카드, 신용카드, 디지털, 수표 등 다양한 채널에서 발생하는 거래 데이터를 통합하여 단일 백본 모델을 구축했다.
- 조직별로 사일로화된 개별 모델에서 벗어나 모든 다운스트림 태스크에 재사용할 수 있는 표현 학습을 지향한다.
거래 데이터 특성과 토큰화 방식
언어 모델이 다음 토큰을 예측하듯 거래 파운데이션 모델은 고객의 다음 거래 패턴을 예측하도록 사전 학습된다. 수작업 피처 엔지니어링에 의존하던 기존 방식에서 벗어나, 원시 피처들의 고유한 어휘와 구조를 파악해 토큰으로 인코딩하고 임베딩 룩업을 수행한다. 우편번호나 거래 금액, 시간 간격 등 이질적인 특성들을 효과적으로 정렬하는 정교한 토큰화 레시피가 모델 성능을 좌우한다.
- 고객 거래 시퀀스 속에서 다음 거래나 다음 토큰을 예측하는 방식으로 사전 학습을 진행한다.
- 누가 거래하는지, 무엇을 구매하는지, 어떤 채널인지, 언제 어디서 발생하는지 등 5가지 주요 차원의 피처를 분석한다.
- 금융 서비스 환경에 특화된 고유한 어휘와 수치형, 범주형 데이터를 적절히 토큰화하는 과정이 핵심이다.
모델 아키텍처와 사전 학습 규모
초기 실험을 통해 1조 파라미터 대신 10억 파라미터 규모가 가장 큰 성능 향상과 ROI를 제공함을 확인하고 현재는 110억 파라미터 버전을 개발 중이다. 칠칠라의 수학적 원리를 바탕으로 디코더 전용 아키텍처를 구성했으며, 대규모 배치와 메모리 효율성을 극대화하기 위해 활성화 체크포인팅과 플래시 어텐션을 도입했다.
- 10억 파라미터 규모의 디코더 전용 아키텍처를 채택하여 가장 효율적인 성능 향상을 이끌어냈다.
- 파라미터 수의 수십 배에 달하는 대규모 토큰을 활용해 며칠에서 몇 주 만에 사전 학습을 완료했다.
- 혼합 정밀도와 분산 데이터 병렬 처리, 플래시 어텐션 등의 최신 학습 기법을 적용했다.
사기 탐지 적용 결과와 성과
사기 분류 다운스트림 태스크에서 트랜스포머 아키텍처는 현재 거래 시퀀스와 과거 거래 이력 사이의 복잡한 관계를 효과적으로 포착한다. 250밀리초 이내의 처리 시간 제약 속에서 오탐을 줄이고 실제 사기 거래를 정확히 잡아냄으로써 고객 응대 비용과 매출 손실을 방지했다. 이 파운데이션 모델은 현재 사기 탐지를 넘어 신용 한도 증대와 자금세탁 방지, 마케팅 영역까지 확장되고 있다.
- 현재 거래와 과거 모든 거래 간의 관계성을 어텐션 메커니즘을 통해 파악하여 사기 탐지율을 높였다.
- 기존 프로덕션 환경의 XGBoost 모델 대비 사기 탐지 성능을 유지하면서도 거짓 양성(오탐)을 대폭 줄였다.
- 사기 탐지 성공으로 정상 거래 거절에 따른 고객 불만과 매출 손실을 막아 수백만 달러의 비용을 절감했다.
설명
Freddy Lecue explains how Wells Fargo pre-trained its own transformer from scratch on billions of customer transactions instead of words. The model learns to predict the next transaction, and that one backbone can then be fine-tuned for fraud detection, credit line decisions, anti-money laundering and marketing. He covers the hardest part, turning tabular data like amounts, timing, merchants and zip codes into tokens, plus the model's size and training setup. On fraud, it caught more fraudulent transactions with fewer false alarms than the production XGBoost model, while staying fast enough for real-time card approvals. Chapters: - 00:00 Why a foundation model for transactions - 02:14 Why not just XGBoost? - 02:47 Billions of transactions - 03:22 Language models vs. transaction models - 04:45 Pre-training from scratch - 05:58 Who, what, how, when and where - 07:59 Turning tabular data into tokens - 09:42 Architecture and scaling - 12:10 Training setup - 13:44 Fraud detection results - 16:47 Recap Freddy Lecue, Wells Fargo: https://www.wellsfargo.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!