Cómo Revolut redujo un 90% los costes de programación con IA usando modelos abiertos autohospedados - David Abitbol, Revolut

Highlights

• Revolut aloja sus propios modelos de código abierto en 56 GPU B200 dedicadas para dar servicio a 2.000 ingenieros.

• El coste mixto por token utilizando GLM autohospedado es de 0,30 dólares por millón, lo que reduce la factura a una décima parte del gasto en Anthropic y OpenAI.

• La adopción de modelos abiertos y ilimitados generó una mejora del 60% en el tiempo de programación y del 70% en el tiempo de entrega.

• Pasar de cuantización FP8 a FP4 proporciona un 40% de ahorro en la huella de GPU sin pérdida de precisión.

• El cuello de botella de la latencia se redujo hasta alcanzar un tiempo hasta el primer token de 1,6 segundos con una demanda superior a siete solicitudes por segundo.

Timeline

1. 00:00 - 03:32

   Contexto y adopción inicial de IA en Revolut

   La empresa prioriza el lanzamiento continuo de productos mediante una sólida cultura técnica. Tras observar un gasto elevado por ingeniero con los modelos de pago por uso y un retorno de la inversión limitado, la organización decidió investigar el código abierto para proporcionar tokens ilimitados sin restricciones presupuestarias.

   • Revolut opera como banco digital en Europa con 80 millones de clientes y un fuerte enfoque en la cultura de ingeniería.
   • La integración inicial de Gemini en enero de 2025 logró mejoras moderadas en los tiempos de programación y entrega.
   • Los costes elevados y la limitación de presupuestos impulsaron la búsqueda de alternativas basadas en código abierto.
2. 03:32 - 05:45

   Impacto y métricas del rendimiento con código abierto

   El cuello de botella principal de la ingeniería dejó de ser la escritura de código para centrarse en la gestión de tareas y la revisión de flujos de trabajo. Con acceso ilimitado a los tokens, los ingenieros pueden ejecutar procesos sin racionar su uso. El mantenimiento de un tiempo hasta el primer token inferior a tres segundos resulta fundamental para evitar saturar los canales internos de comunicación.

   • La implementación de GLM de código abierto mejoró significativamente el tiempo de entrega y el tiempo de programación.
   • El servicio a 2.000 ingenieros requiere aproximadamente 56 GPU B200 dedicadas.
   • El coste por millón de tokens se sitúa en 0,30 dólares, alcanzando una fracción del gasto anterior en proveedores externos.
3. 05:45 - 08:14

   Optimización de parámetros y rendimiento de inferencia

   La carga de trabajo de inferencia requiere ajustes profundos más allá de la simple instalación de los pesos en la GPU. Parámetros como el paralelismo de tensores y la tasa de aciertos de caché determinan la eficiencia operativa. Evitar escalar el hardware de forma innecesaria maximiza el rendimiento bajo alta concurrencia.

   • La optimización de los parámetros del sistema permitió mejorar el rendimiento un 88% a pesar de un incremento del 76% en la demanda.
   • Una longitud de contexto de 256k resulta suficiente para las tareas de desarrollo frente a ventanas de un millón de tokens.
   • La cuantización en FP4 proporciona un ahorro del 40% en la huella de hardware sin sacrificar precisión.
4. 08:14 - 11:44

   Configuración en producción, cumplimiento normativo y seguridad

   La adopción de código abierto procedente de desarrolladores internacionales no compromete la soberanía de los datos, ya que los pesos operan en infraestructura controlada dentro de marcos de equivalencia permitidos. La configuración de entornos seguros con restricciones de comandos previene usos malintencionados y satisface las exigencias de cumplimiento normativo en el sector bancario.

   • El uso de modelos de texto como GLM se complementa con enrutadores locales o modelos de visión específicos para el diseño de interfaces.
   • El alojamiento local de los pesos garantiza el cumplimiento de las normativas de privacidad de datos en la Unión Europea.
   • El uso de entornos aislados con reglas estrictas de aprobación asegura la supervisión humana requerida por los reguladores.