Model Kecil Kami Mengalahkan Opus pada Tugas Keuangan - Alexander Shevchenko, Ramp

Highlights

• Kasus penggunaan yang memanfaatkan LLM di Ramp meningkat sebesar 123% selama tahun lalu.

• Model QAN 3.5 berukuran 35 miliar parameter melampaui Opus 4.6 dalam akurasi tugas keuangan dengan latensi setingkat Haiku.

• Penggunaan teknik kartrid KV cache mengompresi konteks hingga 30 kali lebih banyak secara luring untuk agen keuangan.

• Penerapan 10.000 agen paralel berhasil menemukan dan menambal tujuh kerentanan tingkat keparahan tertinggi di seluruh sistem Ramp.

• Model bobot terbuka yang lima kali lebih murah daripada model penalaran perbatasan tetap menghasilkan tingkat deteksi kerentanan yang hampir setara dalam bentuk kawanan agen.

Timeline

1. 00:00:12 - 03:05:00

   Perkembangan Penggunaan LLM dan Alasan Riset Terapan di Ramp

   Penerapan model kecerdasan buatan di Ramp terus berkembang seiring peluncuran model frontier yang lebih cepat dan murah. Meskipun pembuatan agen pada tahun 2023 menghadapi banyak hambatan teknis akibat kurangnya token pemikiran dan kemampuan backtrack, kebutuhan pengguna profesional tetap harus dilayani. Memasuki tahun 2026, integrasi Model Context Protocol (MCP) mempermudah akses konteks bagi agen dalam menjalankan tugas.

   • Kasus penggunaan LLM di Ramp meningkat sebesar 123% dalam setahun terakhir dengan biaya unit yang semakin murah.
   • Pembangunan agen pada tahun 2023 memerlukan pembatas ketat dan konteks minimal karena keterbatasan model saat itu.
   • Pengembangan fungsi riset terapan di dalam perusahaan aplikasi tetap krusial untuk melayani profesional keuangan secara langsung.
2. 03:05:00 - 07:50:00

   Pelatihan Model Spesialis Keuangan dan Pemanfaatan KV Cache

   Ramp meluncurkan Ramp Sheets sebagai agen spreadsheet, lalu mendapati bahwa tugas pemodelan keuangan yang kompleks memerlukan model tanya jawab khusus yang lebih cepat daripada model frontier umum. Melalui kemitraan dengan Prime Intellect, tercipta model QAN 3.5 yang mengalahkan Opus 4.6 dalam akurasi tugas keuangan. Selain itu, teknik kartrid KV cache dimanfaatkan untuk mengompresi dokumen pembukuan besar semalam sebelum profesional keuangan memulai rekonsiliasi bulanan.

   • Model QAN 3.5 berukuran 35 miliar parameter dikembangkan bersama Prime Intellect untuk menangani tanya jawab keuangan.
   • Model spesialis tersebut mengungguli Opus 4.6 dalam akurasi tugas spesifik dengan kecepatan setingkat Haiku.
   • Teknik kartrid mengompresi konteks hingga 30 kali lipat ke dalam KV cache secara luring sebelum jam kerja dimulai.
3. 07:50:00 - 09:59:00

   Pengujian Kerentanan Skala Besar dan Produk Komersial Ramp

   Pengujian keamanan di Ramp memanfaatkan kawanan 10.000 agen paralel yang dikoordinasikan oleh agen cloud Ramp Inspect. Sistem ini mendeteksi, mendeduplikasi, dan menguji kerentanan secara adversarial secara otomatis hingga berhasil menambal celah keamanan penting. Penggunaan model bobot terbuka dalam kawanan tersebut menekan biaya token tanpa mengorbankan tingkat deteksi kerentanan.

   • Sebanyak 10.000 agen paralel dikerahkan untuk menguji penetrasi sistem dan menemukan tujuh kerentanan tingkat keparahan tertinggi.
   • Model bobot terbuka yang jauh lebih murah tetap memberikan tingkat deteksi yang tinggi saat dioperasikan sebagai kawanan agen.
   • Infrastruktur agen cloud Ramp Inspect mengotomatiskan proses deteksi, deduplikasi, dan perbaikan kerentanan.
4. 09:59:00 - 014:07:00

   Solusi Manajemen Pengeluaran Token dan Riset Lanjutan Ramp Labs

   Upaya penghematan waktu dan biaya diterjemahkan ke dalam produk komersial seperti manajemen pengeluaran token dan Ramp Router. Sistem ini tidak hanya melacak biaya berdasarkan kunci API tetapi juga melakukan analisis semantik terhadap konteks penggunaan. Berbagai riset lanjutan seperti transfer parameter post-training antar model dan pemantauan otomatis menggunakan Datadog terus dikembangkan melalui Ramp Labs.

   • Produk manajemen pengeluaran token menganalisis penggunaan LLM secara semantik hingga ke kategori akuntansi.
   • Ramp Router menyediakan berbagai strategi perutean seperti NVIDIA Switchyard untuk mengoptimalkan latensi dan biaya token.
   • Ramp Labs mempublikasikan riset lanjutan mengenai transfer pembelajaran post-training dan pemantauan sistem yang memperbaiki diri sendiri.