銀行が不正検知のために独自の基盤モデルを訓練 — フレディ・レキュ（ウェルズ・ファーゴ）

하이라이트

• ウェルズ・ファーゴは、数10億件の取引データを用いて、言語ベースではない10億パラメータ規模のトランザクション基盤モデルをゼロから構築した。

• トランスフォーマーアーキテクチャのアテンション機構の導入により、従来のXGBoostモデルを上回る不正検知率と大幅な誤検知の削減が実現された。

• 不正検知への応用により数百万ドルのコスト削減がもたらされ、現在は110億パラメータ規模の次期バージョンの開発が進行中である。

• 顧客の誰が、何を、どのように、いつ、どこで取引したかという5つの次元から数百の生の特徴量が抽出され、トークン化されている。

타임라인

1. 00:00 - 02:31

   独自トランザクション基盤モデルの構築背景

   生成AIで主流の言語ベースのモデルとは異なり、銀行業務におけるデビットカードやクレジットカード、小切手などの膨大な表形式データが活用される。個別の下流タスクごとにバラバラに構築されていた従来の仕組みから脱却し、全社で再利用可能な単一のバックボーンを形成することが狙いである。長年本番運用されてきたXGBoostを超える不正検出性能の実現が目指された。

   • 金融機関が保有する膨大な表形式データを活用するため、言語モデルではなく取引データに基づく基盤モデルが設計された。
   • 組織ごとにサイロ化されていたモデルを統合し、あらゆる下流タスクで再利用できる単一のバックボーンが構築された。
   • 既存の本番環境で運用されていたXGBoostを凌駕する性能と低レイテンシーを目指して開発が進められた。
2. 02:31 - 13:25

   データ表現とスケーリング則に基づくアーキテクチャ設計

   取引データの大規模な活用において、手作業による複雑な特徴量エンジニアリングを排除し、生の特徴量に基づくアプローチが採用された。数百万の口座と毎月数百件に及ぶ顧客ごとの取引から抽出された数百の特徴量がトークンへと変換される。10億パラメータのモデルはデコーダーオンリーの構造を持ち、数日間の事前学習を経て次の取引パターンを予測するように最適化された。

   • 誰が、何を、どのように、いつ、どこでという5つの主要次元から数百の生の特徴量が抽出された。
   • チンチラのスケーリング則の数学的背景を応用し、10億パラメータ規模のデコーダーオンリー型アーキテクチャが構築された。
   • 語彙の適切なトークン化と数値・カテゴリカルデータの処理に多くの労力が費やされた。
3. 13:25 - 17:26

   不正検知への応用とビジネスインパクト

   従来のXGBoostモデルでは見落とされがちであった過去の取引履歴との関係性が、トランスフォーマーのアテンション機構によって正確に捉えられるようになった。不正ではない取引の誤った拒否が減少したことで顧客からの問い合わせや運用コストが抑えられ、会社全体で数百万ドルのコスト削減が達成された。この基盤モデルの応用範囲は不正検知に留まらず、多様な金融業務へと拡大している。

   • 現在の取引と過去の全履歴の関係性を捉えるアテンション機構により、不正検知の精度が飛躍的に向上した。
   • 決済拒否の判定に必要な250ミリ秒未満のレイテンシー制約をクリアしつつ、誤検知の削減と検知率の向上が両立された。
   • 不正検知での成功を受けて、現在では利用枠の引き上げやマネーロンダリング対策、マーケティングへの展開が進められている。