Un banco entrenó su propio modelo fundamental para detectar fraudes — Freddy Lecue, Wells Fargo

하이라이트

• Wells Fargo entrenó un modelo fundacional de mil millones de parámetros basado en datos tabulares de transacciones y bloques de transformadores.

• El modelo superó al sistema XGBoost existente en producción, logrando una mayor tasa de detección de fraudes y una reducción significativa de falsos positivos.

• La arquitectura procesa transacciones de tarjetas de débito, crédito y cheques analizando cinco dimensiones principales: actor, qué, canal, tiempo y ubicación.

• El entrenamiento se realizó desde cero utilizando un clúster de GPU y las leyes de escalado de Chinchilla, completando el preentrenamiento inicial en un par de semanas.

• La inferencia para la detección de fraudes opera en menos de 250 milisegundos, cumpliendo con los requisitos de latencia operativa del banco.

타임라인

1. 00:00 - 03:22

   Motivación y concepto del modelo fundacional de transacciones

   Las grandes organizaciones financieras acumulan miles de millones de transacciones mensuales a través de tarjetas de débito, crédito, pagos digitales y cheques. En lugar de utilizar modelos aislados para cada departamento o depender únicamente de modelos lingüísticos generalistas, la institución desarrolló una infraestructura centralizada basada en bloques de transformadores. Esta columna vertebral aprende representaciones a gran escala de las interacciones de los clientes para optimizar múltiples aplicaciones posteriores de manera simultánea.

   • Las instituciones financieras poseen enormes volúmenes de datos tabulares estructurados además de información de lenguaje.
   • El modelo unifica múltiples tareas posteriores como evaluación crediticia, detección de fraudes, modelado de riesgos y marketing en una sola columna vertebral.
   • Los bloques de transformadores superan al modelo XGBoost previamente utilizado en producción.
2. 03:22 - 13:25

   Arquitectura, características y proceso de tokenización

   El preentrenamiento se ejecuta desde cero sin utilizar pesos de modelos abiertos existentes, estructurando cientos de características brutas en lugar de depender de ingeniería manual previa. Se definieron los parámetros de embedding y el número de bloques de decodificador utilizando las leyes de Chinchilla, operando inicialmente con un modelo de mil millones de parámetros. El proceso aprovecha técnicas de eficiencia de memoria, paralelismo de datos distribuido y precisión mixta para acelerar la convergencia.

   • El modelo predice la siguiente transacción o patrón del cliente basándose en cinco dimensiones: quién, qué, cómo, cuándo y dónde.
   • La tokenización compleja convierte variables numéricas, categóricas y geográficas en un vocabulario específico del sector financiero.
   • La arquitectura utiliza bloques de decodificador entrenados desde cero mediante un clúster de GPU y las leyes de escalado de Chinchilla.
3. 13:25 - 17:31

   Resultados en la detección de fraudes y escalabilidad futura

   Al evaluar si una transacción reciente es fraudulenta, el modelo analiza la secuencia histórica completa mediante mecanismos de atención que los árboles de decisión tradicionales omiten. Esta capacidad genera ahorros millonarios al recortar drásticamente los falsos positivos que provocan llamadas de soporte y bloqueos innecesarios. Tras validar el éxito del modelo de mil millones de parámetros, el equipo desarrolla iteraciones de 11 mil millones para extender su utilidad a nuevas áreas corporativas.

   • La integración de las atenciones a transacciones pasadas mejora la precisión en la clasificación de fraudes frente a XGBoost.
   • El sistema reduce los falsos positivos, disminuyendo los costos operativos y las molestias para los clientes legítimos.
   • El banco ya investiga versiones de 11 mil millones de parámetros y expande el uso del modelo hacia aumentos de línea de crédito y prevención de lavado de dinero.