सेल्फ-हॉस्टेड ओपन मॉडल्स के साथ रेvolut (Revolut) ने एआई कोडिंग की लागत 90% कैसे कम की - डेविड एबिटबोल, रेvolut
Original · How Revolut Cut AI Coding Costs 90% With Self-Hosted Open Models - David Abitbol, Revolut
Key Takeaway
रेवोल्यूट ने 56 समर्पित जीपीयू पर ओपन-सोर्स जीएलएम मॉडल को सेल्फ-होस्ट करके प्रति मिलियन टोकन की लागत को 0.30 डॉलर तक घटा दिया और एआई कोडिंग खर्च में 90% की कमी हासिल की।
Highlights
रेवोल्यूट ने समर्पित जीपीयू पर ओपन-सोर्स मॉडल को सेल्फ-होस्ट करके अपनी एआई कोडिंग की लागत को 90% तक कम कर दिया है।
लगभग 2,000 इंजीनियरों की सेवा के लिए 56 बी200 जीपीयू (B200 GPUs) का उपयोग किया जाता है।
ओपन-सोर्स जीएलएम (GLM) मॉडल को अपनाने के बाद कोडिंग के समय में 60% और लीड टाइम में 70% का सुधार हुआ है।
एफपी4 (FP4) परिशुद्धता का उपयोग करने से एफपी8 (FP8) की तुलना में सटीकता में शून्य नुकसान के साथ 40% जीपीयू उपयोग की बचत होती है।
सेल्फ-होस्टेड टोकन की मिश्रित लागत प्रति मिलियन 0.30 डॉलर है, जो एंथ्रोपिक और ओपनएआई पर खर्च होने वाली लागत का दसवां हिस्सा है।
Timeline
रेवोल्यूट की पृष्ठभूमि और एआई अपनाने की शुरुआत
रेवोल्यूट अपनी इंजीनियरिंग उत्कृष्टता और लगातार उत्पाद लॉन्च करने के लिए जाना जाता है। शुरुआती दौर में महंगे कमर्शियल एआई टूल के कारण बजट पर दबाव बढ़ रहा था, जिससे इंजीनियरों को सीमित टोकन के साथ काम करना पड़ रहा था।
- रेवोल्यूट यूरोप में 8 करोड़ ग्राहकों और 45 बाजारों के साथ एक प्रमुख डिजिटल बैंक है।
- कंपनी में पहली बार जेमिनी एआई पेश करने से लीड टाइम में 10% और कोडिंग समय में 20% का सुधार हुआ।
- क्लाउड कोड के शुरुआती लॉन्च पर उच्च एआई लागत और कम आरओआई के कारण सख्त बजट सीमाएं लगानी पड़ीं।
ओपन-सोर्स मॉडल और लागत में भारी कमी
ओपन-सोर्स अपनाने के बाद कोडिंग समय में 60% और लीड टाइम में 70% का नाटकीय सुधार देखा गया। पहले टोकन के लिए तीन सेकंड से कम के लक्ष्य पर काम किया जाता है ताकि इंजीनियरों का कार्यप्रवाह बाधित न हो।
- अप्रैल 2026 में ओपन-सोर्स जीएलएम मॉडल को सेल्फ-होस्ट करने की शुरुआत की गई।
- 2,000 इंजीनियरों की जरूरतों को पूरा करने के लिए 56 बी200 जीपीयू का उपयोग किया जाता है।
- सेल्फ-होस्टिंग से टोकन की मिश्रित लागत घटकर प्रति मिलियन 0.30 डॉलर रह गई।
प्रदर्शन अनुकूलन और तकनीकी पैरामीटर
मॉडल के प्रदर्शन को बेहतर बनाने के लिए हार्डवेयर और सॉफ्टवेयर स्तर पर कई ट्यूनिंग की जाती हैं। बिना जीपीयू की संख्या बढ़ाए अनुरोधों की संख्या और प्रतिक्रिया गति में अभूतपूर्व सुधार किया गया है।
- एफपी4 (FP4) का उपयोग करने से सटीकता खोए बिना जीपीयू उपयोग में 40% की बचत होती है।
- लंबा संदर्भ टोकन सीमा अक्सर अनावश्यक होती है और 256k टोकन अधिकांश कार्यों के लिए पर्याप्त हैं।
- अनुकूलन के माध्यम से पहले टोकन के समय को 10 सेकंड से घटाकर 1.6 सेकंड किया गया।
उत्पादन सेटअप और नियामक अनुपालन
एक विनियमित यूरोपीय बैंक होने के नाते रेवोल्यूट कड़े नियमों का पालन करता है। सैंडबॉक्स और मजबूत ओपन टेलीमेट्री के माध्यम से किसी भी अनियंत्रित उपयोग या सुरक्षा जोखिम से बचा जाता है।
- चीनी ओपन-सोर्स मॉडल के उपयोग को लेकर सुरक्षा चिंताओं को दूर करते हुए केवल वेट्स (weights) को अमेरिकी सेवाओं पर होस्ट किया जाता है।
- नियामक अनुपालन सुनिश्चित करने के लिए कोड संपादन कार्यों को लूप में एक इंसान और कड़े सैंडबॉक्स नियमों के तहत चलाया जाता है।
- डेटा सुरक्षा के लिए केवल उन क्षेत्रों में जीपीयू का उपयोग किया जाता है जो डेटा समकक्षता फ्रेमवर्क के अंतर्गत आते हैं।
Description
David Abitbol, who leads AI operations at Revolut, shares data from 2,000 engineers on what AI tools did to coding time and lead time, and why self-hosting open-source GLM models made the biggest difference: about 60-70% faster delivery at roughly a tenth of what they were paying frontier labs. He covers the GPUs needed, the latency targets that keep engineers happy, the tuning that made the same hardware 88% faster, and how an EU-regulated bank keeps it compliant. Chapters: 0:00 Intro 0:36 Who Revolut is 1:18 What AI did to 2,000 engineers' lead time 2:45 Why they started self-hosting 3:33 Coding isn't the bottleneck 4:24 What it takes to self-host GLM 5:46 Tuning: same GPUs, 88% faster 7:06 The parameters that matter 8:14 Production setup 9:23 For the CIO: compliance and safety David Abitbol https://www.revolut.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!