Wie Revolut die Kosten für KI-Programmierung durch selbst gehostete Open-Source-Modelle um 90 % gesenkt hat – David Abitbol, Revolut
원제 · How Revolut Cut AI Coding Costs 90% With Self-Hosted Open Models - David Abitbol, Revolut
핵심 요약
Durch das Selbsthosten von Open-Source-Modellen auf dedizierten GPUs senkt Revolut die Programmierkosten drastisch und steigert gleichzeitig die Engineering-Effizienz massiv.
하이라이트
Revolut nutzt selbst gehostete Open-Source-Modelle wie GLM, um die Programmierkosten um 90 % im Vergleich zu Anthropic und OpenAI zu senken.
Für die Betreuung von 2.000 Ingenieuren benötigt Revolut rund 56 B200-GPUs.
Der Wechsel von FP8 zu FP4 bringt eine Einsparung von 40 % beim GPU-Speicherbedarf ohne Präzisionsverlust.
Durch gezielte Parametertunings sank die Zeit bis zum ersten Token auf 1,6 Sekunden bei einer um 76 % gestiegenen Nachfrage.
Die Einführung von GLM 5.1 verbesserte die Coding-Zeit um 60 % und die Durchlaufzeit um 70 %.
타임라인
Unternehmenshintergrund und KI-Einführung bei Revolut
Revolut legt großen Fokus auf eine starke Engineering-Kultur für seine 2.000 Entwickler. Nach ersten Versuchen mit Cloud Code und kommerziellen Modellen entstanden hohe Kosten ohne ausreichenden ROI. Daher suchte das Unternehmen nach Möglichkeiten, Token kosteneffizienter bereitzustellen.
- Revolut ist eine europäische Digitalbank mit 40 Millionen Kunden in 45 Märkten.
- Die Einführung von Gemini im Januar 2025 brachte eine Verbesserung der Durchlaufzeit um 10 %.
- Hohe Kosten für kommerzielle Modelle führten zu strengen Budgets und der Suche nach Open-Source-Alternativen.
Umstellung auf Open-Source und Leistungskennzahlen
Die Durchlaufzeit sank stärker als die reine Coding-Zeit, da Entwickler weniger Zeit mit Verwaltungsaufgaben wie JIRA oder Confluence verbringen. Die monatlichen Kosten sanken durch den pauschalen Betrieb auf ein Zehntel der vorherigen Ausgaben.
- Im April 2026 begann Revolut mit dem Selbsthosten von Open-Source-Modellen wie GLM.
- GLM 5.1 erzielte eine Verbesserung der Coding-Zeit um 60 % und der Durchlaufzeit um 70 %.
- Mit 56 B200-GPUs werden 2.000 Ingenieure mit einer Latenz von unter drei Sekunden bis zum ersten Token versorgt.
Technische Optimierung und Produktions-Setup
Ohne Feintuning erzielen selbst gehostete Modelle schlechte Leistungen. Durch das Anpassen von Parametern wie Tensor-Parallelismus und Quantisierung wird die Hardware optimal ausgelastet. Ein langer Kontext ist laut den Erfahrungen oft nicht erforderlich, weshalb 256k meist ausreichen.
- Durch Optimierungen stieg die Nachfrage um 76 %, während die Latenz auf 1,6 Sekunden sank.
- Die Verwendung von FP4 auf Blackwell-GPUs spart 40 % Speicher ohne Qualitätsverlust.
- Ein lokaler Router leitet Bildanfragen an andere Modelle weiter, während GLM für den Text- und Codebereich dient.
Compliance, Datenschutz und Sicherheitsvorkehrungen
Als regulierte EU-Bank unterliegt Revolut strengen Vorschriften. Die Sandbox verhindert missbräuchliche Nutzung und schützt vor unerlaubten Operationen. Da alle Daten in konformen Regionen verarbeitet werden und Inferenz-Anbieter keine Daten speichern, sind regulatorische Anforderungen erfüllt.
- Chinesische Open-Source-Modelle werden lediglich über ihre Gewichte auf US-basierten Diensten betrieben, was den Datenschutz wahrt.
- Eine strenge Sandbox stellt sicher, dass Programmieraufgaben als 'Human in the Loop' überwacht werden.
- OpenTelemetry sorgt für tiefe Einblicke in Logs und eine robuste Vorfallanalyse.
설명
David Abitbol, who leads AI operations at Revolut, shares data from 2,000 engineers on what AI tools did to coding time and lead time, and why self-hosting open-source GLM models made the biggest difference: about 60-70% faster delivery at roughly a tenth of what they were paying frontier labs. He covers the GPUs needed, the latency targets that keep engineers happy, the tuning that made the same hardware 88% faster, and how an EU-regulated bank keeps it compliant. Chapters: 0:00 Intro 0:36 Who Revolut is 1:18 What AI did to 2,000 engineers' lead time 2:45 Why they started self-hosting 3:33 Coding isn't the bottleneck 4:24 What it takes to self-host GLM 5:46 Tuning: same GPUs, 88% faster 7:06 The parameters that matter 8:14 Production setup 9:23 For the CIO: compliance and safety David Abitbol https://www.revolut.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!