Como a Revolut reduziu em 90% os custos de programação com IA usando modelos abertos auto-hospedados - David Abitbol, Revolut

하이라이트

• A Revolut reduziu os custos de programação com inteligência artificial para um décimo do valor cobrado pela Anthropic e pela OpenAI ao adotar a auto-hospedagem de modelos de código aberto.

• A implementação do modelo GLM gerou uma melhoria de 60% no tempo de codificação e de 70% no tempo de ciclo para 2.000 engenheiros da empresa.

• A infraestrutura necessária para atender a 2.000 engenheiros com o modelo GLM 5.3 consiste em 56 GPUs B200 dedicadas.

• A otimização de parâmetros reduziu o tempo até o primeiro token de mais de 10 segundos para 1,6 segundo, mesmo com um aumento de 76% nas requisições por segundo.

• A utilização de quantização FP4 em GPUs Blackwell gera uma economia de 40% no uso de hardware sem perda de precisão nos modelos.

타임라인

1. 00:00 - 03:58

   Apresentação da Revolut e o impacto inicial da IA

   O crescimento acelerado da Revolut exige uma cultura de engenharia focada no lançamento constante de produtos. A adoção inicial de modelos comerciais esbarrou em restrições orçamentárias rígidas devido ao baixo retorno sobre o investimento por engenheiro. A transição para modelos de código aberto em abril de 2026 permitiu o fornecimento de tokens ilimitados para as equipes de desenvolvimento sem o risco de surpresas na fatura mensal.

   • A Revolut opera como um banco digital europeu com 80 milhões de clientes em 45 mercados.
   • A introdução inicial do Gemini em janeiro de 2025 gerou melhorias modestas de 10% no tempo de ciclo e 20% no tempo de codificação.
   • Os custos elevados com ferramentas proprietárias de IA motivaram a busca por alternativas baseadas em código aberto.
2. 03:58 - 07:05

   Métricas de desempenho, hardware e custos da auto-hospedagem

   A infraestrutura de hardware foi dimensionada para garantir alta interatividade, entregando 200 tokens por segundo em horário comercial e até 800 tokens por segundo fora do expediente. O gargalo principal da engenharia demonstrou ser o tempo de ciclo geral e não apenas a escrita de código. A previsibilidade de custos fixos tornou-se uma vantagem estratégica fundamental para a sustentabilidade da operação técnica.

   • A operação para 2.000 engenheiros utiliza 56 GPUs B200 para hospedar o modelo GLM.
   • O custo misto por token atingiu US$ 0,30 por milhão, representando um décimo do gasto com fornecedores tradicionais.
   • O limite tolerável de latência para o primeiro token é de até três segundos para evitar alertas das equipes.
3. 07:05 - 09:22

   Otimização de parâmetros e configuração de produção

   A maximização da eficiência operacional exige ajustes rigorosos em parâmetros como paralelismo de tensores e taxas de acerto de cache superiores a 90%. A resistência à simples adição de hardware forçou melhorias de software que reduziram drasticamente a latência sob alta demanda. A arquitetura de produção combina modelos de texto otimizados com suporte a ferramentas de interface de usuário.

   • A adoção de janelas de contexto de 256k tokens substitui com vantagens os contextos excessivamente longos.
   • A execução de modelos em formato FP4 em GPUs Blackwell otimiza o uso de hardware sem comprometer a precisão.
   • O roteamento local direciona tarefas específicas de visão computacional para outros modelos quando necessário.
4. 09:22 - 11:44

   Conformidade regulatória, segurança e privacidade de dados

   A operação em um setor altamente regulado exige o controle rigoroso de riscos associados a agentes autônomos e injeção de prompts. A implementação de telemetria aberta robusta possibilita a auditoria detalhada de incidentes e o cumprimento das normas de privacidade vigentes na União Europeia. O modelo de governança assegura que todas as operações de código permaneçam sob supervisão humana direta.

   • A utilização de modelos de código aberto chineses ocorre apenas por meio do download de pesos executados em servidores nos Estados Unidos.
   • Ambientes de sandbox com regras rígidas de aprovação garantem a supervisão humana obrigatória exigida por reguladores bancários.
   • Os provedores de infraestrutura garantem retenção zero de dados e conformidade com marcos regulatórios internacionais.