Bagaimana Revolut Memotong Biaya Coding AI Sebesar 90% dengan Model Terbuka Mandiri - David Abitbol, Revolut

하이라이트

• Revolut melayani 80 juta pelanggan di 45 pasar dan beroperasi sebagai perusahaan swasta terbesar di Eropa terhitung sejak Juli.

• Penghosting sendiri model sumber terbuka GLM memotong tagihan AI Revolut menjadi sepersepuluh dari pengeluaran sebelumnya pada Anthropic dan OpenAI.

• Optimalisasi parameter sistem menghasilkan peningkatan performa sebesar 88% pada waktu ke token pertama meskipun terjadi lonjakan permintaan sebesar 76%.

• Peralihan dari presisi FP8 ke FP4 pada GPU Blackwell menghemat 40% jejak memori GPU tanpa kehilangan presisi.

• Revolut menggunakan 56 unit GPU B200 untuk menghosting model GLM 5.3 bagi 2.000 insinyur dengan biaya campuran token sebesar $0,30 per juta token.

타임라인

1. 00:00:12 - 03:03:00

   Profil Perusahaan dan Dampak Awal Adopsi AI

   Revolut memprioritaskan budaya teknik yang menuntut perilisan produk secara masif dengan 2.000 insinyur. Pengenalan AI pada awal tahun memperlihatkan bahwa hambatan utama dalam rekayasa perangkat lunak terletak pada waktu tunggu alur kerja, bukan sekadar proses penulisan kode itu sendiri.

   • Revolut memiliki 80 juta pelanggan dan beroperasi di 45 pasar sebagai aplikasi keuangan yang paling banyak diunduh di Eropa.
   • Adopsi awal Gemini menghasilkan peningkatan 10% pada waktu tunggu dan peningkatan 20% pada waktu pengodingan bagi 2.000 insinyur.
   • Batasan anggaran yang ketat diberlakukan akibat tingginya biaya penggunaan model komersial seperti Cloud Code.
2. 03:03:00 - 05:45:00

   Transisi ke Model Sumber Terbuka dan Metrik Kinerja

   Penggunaan model sumber terbuka menghilangkan kekhawatiran terhadap kejutan tagihan di akhir bulan karena biayanya yang tetap. Model frontier komersial kini dipertahankan hanya sebagai pengecualian, sementara mayoritas tugas pengodingan ditangani oleh model sumber terbuka mandiri.

   • Penghosting sendiri model sumber terbuka GLM dimulai pada April 2026 dan menjadi prioritas utama di perusahaan.
   • Penggunaan 56 unit GPU B200 untuk model GLM 5.3 mencapai biaya campuran token sebesar $0,30 per juta token.
   • Target waktu ke token pertama ditetapkan di bawah tiga detik untuk mencegah lonjakan notifikasi pada saluran komunikasi internal.
3. 05:45:00 - 09:23:00

   Optimalisasi Parameter dan Konfigurasi Produksi

   Peningkatan performa sebesar 88% dicapai tanpa menambah jumlah GPU, membuktikan pentingnya menyetel parameter internal daripada terburu-buru menambah skala perangkat keras. Kontekstualisasi yang panjang dibatasi pada 256 ribu token agar efisien.

   • Peningkatan parameter sistem menaikkan permintaan per detik dari 3 menjadi lebih dari 7 sambil menurunkan waktu ke token pertama menjadi 1,6 detik.
   • Kuantisasi menggunakan FP4 pada GPU Blackwell menghemat 40% jejak memori GPU dibandingkan FP8.
   • Router lokal digunakan untuk merutekan tugas pengenalan gambar ke model visual khusus sementara GLM menangani tugas teks utama.
4. 09:23:00 - 11:44:00

   Kepatuhan Regulasi, Keamanan, dan Privasi Data

   Regulasi ketat perbankan di Uni Eropa dipenuhi dengan memastikan adanya pengawasan manusia melalui sandbox yang membatasi tindakan agen otonom. Sistem telemetri terbuka yang kuat juga dipasang untuk mendalamkan investigasi jika terjadi insiden keamanan.

   • Bobot model sumber terbuka diunduh dan dipasang pada layanan berbasis AS sehingga masalah stigma lokasi asal dapat diatasi.
   • Sandbox diterapkan untuk membatasi operasi yang tidak diizinkan guna menjamin keterlibatan manusia dalam proses penulisan kode.
   • Penyedia GPU dan inferensi diatur agar memiliki kebijakan retensi data nol secara default di wilayah yang memenuhi kerangka kesetaraan data.