بنك يدرب نموذجه الأساسي الخاص لكشف الاحتيال — فريدي ليكو، ويلز فارغو
원제 · A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo
핵심 요약
طور ويلز فارجو نموذجاً تأسيسياً مبنياً على كتل المحولات ل معالجة المعاملات المالية الضخمة من الصفر، مما أدى إلى تفوق واضح على نماذج XGBoost في كشف الاحتيال وتقليل الإيجابيات الكاذبة.
하이라이트
بنى ويلز فارجو أول نموذج تأسيسي خاص بالمعاملات المالية باستخدام كتل المحولات ل معالجة مليارات المعاملات الشهرية.
تفوق النموذج الجديد على نماذج XGBoost التقليدية عبر تحقيق معدل كشف أعلى للاحتيال وتقليل الإيجابيات الكاذبة بشكل ملحوظ.
يعتمد النموذج على التدريب المسبق من الصفر باستخدام بيانات المعاملات الخام بدلاً من النماذج اللغوية الجاهزة.
يوفر النموذج عموداً فقرياً موحداً للمهام اللاحقة مثل اكتشاف الاحتيال وتقييم الائتمان ومكافحة غسيل الأموال والتسويق.
أنجز النموذج تدريباً مسبقاً خلال أسابيع قليلة باستخدام مجموعات وحدات معالجة الرسوميات الخاصة بالمؤسسة.
타임라인
دوافع وبنية نموذج المعاملات التأسيسي
تمتلك المؤسسات المالية الكبرى مثل ويلز فارجو حجماً هائلاً من بيانات المعاملات الخاصة ببطاقات الائتمان والخصم والشيكات عبر قنوات متعددة. بدلاً من الاعتماد حصراً على النماذج اللغوية أو نماذج XGBoost التقليدية، يتطلب الأمر بناء نموذج تأسيسي خاص بالمعاملات يلتقط العلاقات المعقدة بمرور الوقت وعبر العملاء لتبسيط العمليات اللاحقة.
- الاستفادة من الكميات الهائلة لبيانات المعاملات المهيكلة وغير المهيكلة في المؤسسات المالية.
- التحول من نماذج معزولة متعددة إلى عمود فقري واحد يعيد استخدام تمثيلات معاملات العملاء.
- استخدام كتل المحولات للتنبؤ بالمعاملة التالية بدلاً من التركيز على اللغة وحدها.
أبعاد المعاملات والترميز الخام
تتطلب المعاملات المالية فهماً دقيقاً للمفردات التي تتضمن بيانات كمية ونوعية وتصنيفية مثل المبالغ والفروق الزمنية والعناوين. جرى تحليل الميزات الأساسية الخام وتفكيكها إلى آلاف العناصر، ثم تحويل القيم إلى رموز وتضمينات دقيقة تناسب طبيعة المعاملات المصرفية بدلاً من بناء ميزات مصنوعة يدوياً بصعوبة.
- التركيز على خمسة أبعاد رئيسية تشمل الأطراف، وما يتم شراؤها، والقناة، والوقت، والمكان.
- الاعتماد على الميزات الخام واستخراج الآلاف منها لتتعرف كتل المحولات على العلاقة بينها.
- تطوير مفردات فريدة ومحددة لقطاع الخدمات المالية وتجنب النماذج المدرّبة مسبقاً الجاهزة.
الهندسة المعمارية والتدريب المسبق
استخدم الفريق أبعاد تضمين محددة وعدد وحدات فك تشفير مناسبة للتركيز على المعاملات بمليارات المرات، حيث تم بدء التدريب المسبق من الصفر معتمدين على أحدث تقنيات تحسين الأداء وكفاءة الذاكرة لتسريع المعالجة والوصول إلى دقة عالية.
- تطبيق هندسة فك التشفير واستخدام رياضيات تشينشيلا لتحديد أسلوب البناء.
- إجراء التدريب المسبق من الصفر باستخدام بيانات معاملات المؤسسة على مدى أسابيع.
- استخدام التوازي الموزع للبيانات والدقة المختلطة لتحقيق تقارب أسرع وكفاءة في الذاكرة.
نتائج اكتشاف الاحتيال وتوفير التكاليف
أظهر تطبيق نموذج المحولات في مهام اكتشاف الاحتيال تفوقاً واضحاً على نظام XGBoost الموجود في الإنتاج عبر ربط المعاملة الحالية بالتاريخ الكامل لمعاملات العميل. أدى ذلك إلى خفض عدد المعاملات غير الاحتيالية المرفوضة، وتوفير ملايين الدولارات من التكاليف التشغيلية، وفتح المجال لتطبيق نفس الأساس على مجالات مصرفية أخرى.
- استخدام النموذج التأسيسي كمهمة لاحقة لتصنيف الاحتيال والاستفادة من آليات الانتباه للمعاملات التاريخية.
- تقليل الإيجابيات الكاذبة وزيادة معدل اكتشاف الأنشطة الاحتيالية مقارنة بنماذج XGBoost.
- توسيع نطاق استخدام النموذج ليشمل زيادة الحدود الائتمانية ومكافحة غسيل الأموال والتسويق.
설명
Freddy Lecue explains how Wells Fargo pre-trained its own transformer from scratch on billions of customer transactions instead of words. The model learns to predict the next transaction, and that one backbone can then be fine-tuned for fraud detection, credit line decisions, anti-money laundering and marketing. He covers the hardest part, turning tabular data like amounts, timing, merchants and zip codes into tokens, plus the model's size and training setup. On fraud, it caught more fraudulent transactions with fewer false alarms than the production XGBoost model, while staying fast enough for real-time card approvals. Chapters: - 00:00 Why a foundation model for transactions - 02:14 Why not just XGBoost? - 02:47 Billions of transactions - 03:22 Language models vs. transaction models - 04:45 Pre-training from scratch - 05:58 Who, what, how, when and where - 07:59 Turning tabular data into tokens - 09:42 Architecture and scaling - 12:10 Training setup - 13:44 Fraud detection results - 16:47 Recap Freddy Lecue, Wells Fargo: https://www.wellsfargo.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!