Cara Perusahaan Trading Merilis Model AI Baru di Hari yang Sama - Noyan Tokgozoglu, Optiver

하이라이트

• Optiver memproses lebih dari 10 juta perdagangan sehari, menetapkan harga untuk lebih dari 1 juta instrumen, dan menangani petabita data setiap hari.

• Perusahaan ini mereset neraca keuangan pada awal setiap hari dan melihat dampak keputusan pada Laba Rugi dalam hitungan jam.

• Semua infrastruktur AI dijalankan secara on-prem untuk melindungi kekayaan intelektual dan mematuhi regulasi industri yang ketat.

• Penerapan kerangka evaluasi terpadu dan tolok ukur internal memungkinkan pengujian dan peluncuran model AI baru pada hari yang sama.

• Penggunaan pencarian alat MCP, pembatasan token, dan CLI khusus berhasil mengendalikan lonjakan biaya token secara signifikan.

타임라인

1. 00:00:00 - 02:48:00

   Konteks Operasional dan Lingkar Umpan Balik Laba Rugi

   Perusahaan mengelola volume data dan perdagangan yang sangat masif di lebih dari 10 lokasi di seluruh dunia. Berbeda dengan perusahaan teknologi tradisional yang mengukur metrik keterlibatan selama berbulan-bulan, lingkungan perdagangan memungkinkan evaluasi dampak finansial secara langsung setiap hari. Kecepatan ini menuntut bias yang kuat untuk bertindak karena kehilangan peluang pasar berpotensi menimbulkan biaya yang sangat besar.

   • Optiver beroperasi sebagai market maker global tanpa klien yang menggunakan modal sendiri untuk perdagangan.
   • Dampak keputusan teknologi terlihat dalam hitungan jam karena neraca keuangan direset setiap hari.
2. 02:48:00 - 07:05:00

   Arsitektur Platform AI Modular dan Keamanan On-Prem

   Platform ini mengintegrasikan model pihak ketiga dan sumber terbuka melalui gerbang inferensi terpusat. Tim teknik bekerja langsung bersama para trader untuk memahami alur kerja dan mengembalikan nilai ke dalam platform mandiri yang aman. Seluruh interaksi dicatat secara otomatis untuk mendukung sistem evaluasi dan memastikan ketahanan sistem secara penuh.

   • Platform AI dibangun di atas prinsip modularitas, kecepatan tinggi, dan pengukuran di setiap lapisan.
   • Infrastruktur inti dijalankan secara on-prem untuk menjaga kekayaan intelektual dan kepatuhan regulasi.
3. 07:05:00 - 14:00:00

   Penerapan Model Cepat dan Pengoptimalan Biaya Token

   Kerangka evaluasi yang matang memungkinkan perusahaan menyaring model baru dengan cepat berdasarkan metrik internal. Lonjakan pengeluaran token yang terjadi setelah peluncuran model besar berhasil dikendalikan melalui optimalisasi harness dan manajemen visibilitas biaya bagi tim. Pendekatan ini memastikan efisiensi pengeluaran token seiring dengan peningkatan skala penggunaan AI.

   • Model frontier baru diuji menggunakan perangkat emas dan tolok ukur internal pada hari yang sama saat dirilis.
   • Pengoptimalan penggunaan token dilakukan melalui pencarian alat MCP dan penyesuaian parameter cache.
4. 14:00:00 - 23:08:00

   Antarmuka Pengguna Agen dan Kolaborasi Multi-Agen

   Pengembangan antarmuka khusus memberikan ruang bagi para trader dan pengembang untuk mengelola sesi, artefak, dan dokumen secara kolaboratif. Alih-alih membebani satu agen dengan terlalu banyak tugas, sistem menggunakan buku besar tunggal untuk orkestrasi multi-agen yang lebih terukur dan mudah disesuaikan.

   • Portal web internal dan meja kerja agen disediakan untuk memenuhi kebutuhan kerja para pengguna.
   • Penskalaan fungsionalitas diarahkan melalui gerbang agen untuk menghindari beban berlebih pada satu agen tunggal.