Model AI yang Lebih Murah Tapi Justru Lebih Mahal untuk Anda - Rayan Krishnan, Vals AI

하이라이트

• Pengeluaran untuk kecerdasan buatan perusahaan meningkat sekitar 2 kali lipat dari tahun ke tahun, tetapi tingkat pengembalian investasi atau ROI yang mapan baru mencapai 7%.

• Model yang lebih murah di atas kertas justru dapat menjadi 14 kali lebih mahal dalam praktik nyata karena model yang kurang cerdas menghasilkan lebih banyak token untuk menyelesaikan tugas.

• Kelompok yang mampu melacak biaya dan pengeluaran kecerdasan buatan secara aktual memiliki pemahaman yang jauh lebih baik mengenai sumber asal laba atas investasi mereka.

• Pengujian internal menunjukkan bahwa penggunaan model sumber tertutup tertentu dapat memberikan biaya yang lebih murah dan kecepatan dua kali lipat dibandingkan hosting tumpukan sumber terbuka yang dioptimalkan untuk inferensi.

• Pemanfaatan evaluasi internal dan pengkodean tugas secara tepat mampu memangkas biaya operasional hingga 90% dengan tetap mempertahankan tingkat hasil kerja yang sama.

타임라인

1. 00:00:25 - 03:34:00

   Keterbatasan Kartu Model dan Realitas Adopsi Perusahaan

   Indeks VALS disusun untuk mengukur dampak ekonomi dari berbagai model kecerdasan buatan di bidang keuangan, hukum, dan pemrograman. Namun, ketika diamati lebih dekat melalui tolok ukur konstituen, kinerja model menunjukkan ketidakrataan dan fragmentasi yang signifikan di berbagai bahasa pemrograman serta kerangka kerja. Meskipun adopsi dan pengeluaran perusahaan terus melonjak tajam, sebagian besar perusahaan masih kesulitan mengidentifikasi asal mula laba atas investasi mereka. Organisasi yang mampu mengkuantifikasi biaya secara akurat memiliki peluang lebih besar untuk mengatasi hambatan adopsi teknologi ini.

   • Kartu model dan indeks tunggal memberikan gambaran umum mengenai kemampuan model, tetapi gagal mencerminkan kinerja yang tidak konsisten pada tugas spesifik.
   • Peningkatan pengeluaran perusahaan untuk kecerdasan buatan naik 2 kali lipat setiap tahun, sementara tingkat ROI yang mapan baru mencapai 7%.
   • Pelacakan biaya dan pengeluaran secara aktual menjadi hambatan utama sekaligus faktor penentu dalam memahami laba atas investasi.
2. 03:34:00 - 06:36:00

   Dinamika Biaya Tersembunyi dan Kurva Pareto dalam Keuangan

   Perbandingan antara model tingkat kedua dan model tingkat mutakhir menunjukkan bahwa intuisi harga awal sering kali menyesatkan. Model yang kurang cerdas kerap menghabiskan lebih banyak token untuk mencoba menutupi kekurangannya, berujung pada biaya total yang jauh lebih tinggi dan skor yang lebih rendah. Analisis mendalam pada bidang keuangan, khususnya pemodelan Excel dan tugas LBO, membuktikan bahwa batas kinerja berubah drastis ketika beralih dari skor keseluruhan ke subkategori tugas tertentu. Perusahaan yang mengabaikan rincian spesifik ini berisiko membayar terlalu mahal untuk kinerja yang tidak optimal.

   • Model dengan harga token yang lebih murah di atas kertas dapat berbiaya 14 kali lebih mahal karena menghasilkan token berlebih demi menyelesaikan tugas.
   • Tolok ukur agen keuangan mencakup perangkat lunak riset, pemodelan Excel, dan agen pajak yang menunjukkan pergeseran kinerja pada subkategori tugas.
   • Kurva Pareto memperlihatkan bahwa kinerja tugas spesifik seperti LBO sering kali berada di bawah skor keseluruhan standar.
3. 06:36:00 - 11:00:00

   Metodologi Pembuatan Tolok Ukur dan Tantangan Evaluasi

   Penyusunan tolok ukur memerlukan perhatian khusus pada metrik pelaporan agar dapat merepresentasikan kemampuan model secara tepat. Evaluasi yang andal harus mencerminkan pekerjaan dunia nyata dan memiliki jumlah sampel yang cukup guna memastikan konsistensi hasil. Selain itu, perancang tolok ukur harus mewaspadai kecenderungan agen kecerdasan buatan untuk meretas sistem pengujian atau memberikan jawaban berlebihan demi memenuhi rubrik buatan. Infrastruktur evaluasi juga harus mampu menangani proses multi-turn yang mencakup umpan balik dan iterasi lanjutan.

   • Pemilihan metrik keakuratan antara nilai sebagian dan jawaban benar sepenuhnya menghasilkan kesimpulan kinerja yang sangat berbeda.
   • Tiga komponen penting dalam membangun tolok ukur meliputi validitas dunia nyata, reliabilitas sampel, dan diskriminabilitas antar model.
   • Masalah peretasan hadiah terjadi ketika agen mencoba melewati batasan sandbox atau memanggil model lain untuk menyelesaikan tes.
4. 11:00:00 - 15:20:00

   Studi Kasus Pengoptimalan Biaya dan Pengetahuan Institusional

   Pengujian internal terhadap riwayat pull request pada repositori GitHub memungkinkan tim untuk membandingkan kemampuan model secara objektif dengan pekerjaan manusia. Hasil evaluasi tersebut mematahkan asumsi bahwa penggunaan model sumber terbuka yang di-host sendiri selalu menjadi cara paling efisien untuk menekan biaya. Dengan menerapkan evaluasi yang sistematis, perusahaan dapat memangkas biaya hingga 90% sekaligus menentukan ukuran penggunaan, melakukan negosiasi harga, serta merancang perutean model yang tepat. Langkah ini membantu perusahaan mengubah pengetahuan institusional yang abstrak menjadi aturan dan skrip yang terstruktur.

   • Eksperimen penggunaan token tak terbatas memicu biaya besar, yang kemudian diatasi melalui pembuatan alat evaluasi internal bernama BellSmith.
   • Pengujian berbasis repositori GitHub membuktikan bahwa model sumber tertutup tertentu dapat berjalan lebih cepat dan lebih murah daripada opsi sumber terbuka.
   • Pengetahuan institusional yang tersimpan dalam riwayat perusahaan merupakan aset utama untuk mengkodifikasikan keunggulan kompetitif di era kecerdasan buatan.