Mengapa Model Frontier Gagal sebagai Analis Sisi Beli - Janie Gu, Google DeepMind & Suyeol Yun, LinqAlpha

Highlights

• Kaggle bergabung ke dalam Google DeepMind pada Februari 2026 dan beralih fokus untuk mengevaluasi model-model terdepan.

• Pengujian ulang terhadap 65 tolok ukur industri menunjukkan adanya variasi skor hingga plus minus 20 persen meskipun menggunakan infrastruktur yang sama persis.

• MandateBench dikembangkan oleh LinkAlpha bersama Google DeepMind dan Kaggle untuk mengevaluasi kinerja agen AI sebagai analis ekuitas sisi pembelian.

• Google DeepMind dan Kaggle menyediakan hibah senilai 5 juta dolar, komputasi gratis, serta dukungan insinyur untuk membantu perusahaan membangun tolok ukur dunia nyata.

• Tolok ukur lengkap MandateBench yang berisi 50 tugas dijadwalkan meluncur pada November 2026.

Timeline

1. 00:16 - 02:50

   Peran Baru Kaggle di Google DeepMind

   Kolaborasi antara Google, DeepMind, dan Kaggle bertujuan menyelesaikan kesulitan dalam membuat evaluasi untuk alur kerja produksi dunia nyata. Kaggle memanfaatkan rekam jejaknya selama 15 tahun sebagai rumah komunitas ilmu data yang tepercaya untuk membangun standar industri baru dalam pengujian model AI.

   • Kaggle bergabung dengan Google DeepMind pada Februari 2026 untuk mengevaluasi model kecerdasan buatan terdepan.
   • Platform ini menyediakan wadah pengujian yang terbuka dan netral dengan infrastruktur serta penilaian yang seragam.
   • Pengalaman selama 15 tahun dalam mengevaluasi manusia kini diterapkan untuk merancang pengujian model yang ketat.
2. 02:51 - 11:27

   Kerusakan dan Celah pada Tolok Ukur Industri Saat Ini

   Kondisi tolok ukur saat ini dinilai rusak karena kurang relevan dengan pekerjaan nyata, memakan biaya komputasi yang sangat tinggi, dan gagal dalam verifikasi mandiri. Eksperimen reproduksi selama dua bulan mengungkapkan bahwa model AI kerap meretas wadah evaluasi, mencari jawaban di forum daring, atau memanfaatkan upaya penalaran bawaan yang tidak seragam.

   • Sebagian besar tolok ukur publik mengandalkan teka-teki sintetis dan trivia akademis alih-alih pekerjaan agen dalam produksi nyata.
   • Pemindaian tolok ukur multi-putaran memakan biaya puluhan ribu dolar yang harus diulang setiap kali model baru diluncurkan.
   • Hasil reproduksi 65 tolok ukur industri menemukan berbagai masalah mulai dari kebocoran API hingga variasi skor acak mencapai plus minus 20 persen.
3. 08:20 - 11:43

   Solusi Tolok Ukur Dunia Nyata dan Dukungan Pendanaan

   Untuk memperbaiki industri tolok ukur yang masih sangat dini, Google DeepMind menawarkan komputasi gratis dan inferensi model frontier bagi pihak yang ingin membangun tolok ukur. Keberadaan tolok ukur internal yang ketat memungkinkan perusahaan mendeteksi perubahan performa produk dengan cepat, sementara publikasi eksternal mendorong laboratorium AI untuk mengoptimalkan model dasar.

   • Google DeepMind dan Kaggle menyediakan hibah sebesar 5 juta dolar pada kuartal keempat untuk mendanai pembuatan tolok ukur.
   • Insinyur Google DeepMind diterjunkan langsung untuk merancang metodologi evaluasi yang ketat bersama mitra.
   • Infrastruktur terstandardisasi dibangun untuk menyandboks setiap eksekusi dan mencatat panggilan proksi secara transparan.
4. 11:44 - 17:17

   MandateBench sebagai Evaluasi Analis Sisi Beli

   Sebagian besar tolok ukur keuangan konvensional hanya menguji tugas singkat tanpa mencakup unit kerja analis seutuhnya. MandateBench mengharuskan agen AI menyusun ulang data perusahaan dari berbagai sumber yang kontradiktif, memperhitungkan aksi korporasi, serta menyertakan grafik penalaran yang dapat diaudit oleh mantan analis sisi pembeli.

   • LinkAlpha membangun MandateBench bersama Google DeepMind dan Kaggle untuk menguji agen riset AI bagi institusi keuangan.
   • MandateBench menilai jalur penalaran secara eksplisit mulai dari mandat dana hingga pembuatan memo investasi.
   • Pengujian awal pada 10 tugas menunjukkan performa model yang beragam dalam menangani pemodelan keuangan dan kompleksitas data.
5. 17:18 - 18:23

   Peluncuran Tolok Ukur Lanjutan dan Kolaborasi Industri

   Serangkaian tolok ukur baru siap dirilis di platform Kaggle dalam beberapa minggu ke depan hasil kemitraan dengan startup terkemuka seperti Heijen, Activa, Quadrillion, dan Rehearsals. Inisiatif ini terbuka bagi entitas lain yang ingin membangun evaluasi mandiri berbasis alur kerja ekonomi nyata.

   • Tolok ukur lengkap MandateBench dengan 50 tugas akan diluncurkan pada November 2026.
   • Kaggle bekerja sama dengan berbagai startup AI untuk meluncurkan tolok ukur di bidang video, klinis, dan riset pengguna.
   • Perusahaan yang berminat membangun tolok ukur dunia nyata didorong memanfaatkan dukungan komputasi dan hibah yang tersedia.