Tanpa Caching, Agen AI Anda Biaya 10x Lipat Lebih Mahal - George Cameron, Artificial Analysis

하이라이트

• Artificial Analysis melakukan benchmark pada seluruh tumpukan AI mulai dari lapisan agen, model bahasa, hingga perangkat keras untuk mengukur trade-off keputusan pengembang.

• Tingkat kecerdasan untuk model termurah turun sebesar satu ordo besar atau sekitar 10x lipat dalam kurun waktu satu tahun.

• Rata-rata agen Opus memakan biaya 21 dolar untuk menyelesaikan satu tugas kompleks dalam lingkungan ribuan file.

• Caching atau penembobokan prompt yang tidak diaktifkan dapat membuat biaya tugas agen melonjak dari 21 dolar menjadi lebih dari 200 dolar.

• Harga token masukan dan persentase kecocokan tembolok merupakan pendorong biaya terbesar saat melakukan tugas agen berjangka panjang.

타임라인

1. 00:00 - 06:53

   Latar Belakang dan Lanskap Kecerdasan AI

   Perusahaan rintisan di bidang benchmarking AI ini menganalisis berbagai pilihan model dan inferensi yang harus diambil pengembang saat menerapkannya ke produksi. Indeks kecerdasan dirancang untuk membantu pengembang membuat keputusan praktis untuk kasus penggunaan mereka. Selain itu, rilis model yang terjadi secara masif menunjukkan bahwa laju kemajuan kecerdasan buatan bergerak dengan sangat cepat.

   • Artificial Analysis menyediakan benchmark independen yang mencakup seluruh tumpukan AI mulai dari agen, model bahasa, hingga perangkat keras.
   • Indeks kecerdasan menggabungkan 10 evaluasi berbeda seperti pekerjaan pengetahuan, penalaran ilmiah, pengkodean, dan penggunaan terminal.
   • Model berbobot terbuka terus berada dalam rentang tiga hingga sembilan bulan dari model berpemilik terdepan.
2. 06:53 - 15:29

   Pendorong Biaya dan Kompleksitas Tugas Agen

   Tugas agen yang kompleks kini melibatkan ratusan langkah dan token penalaran yang membuat analisis biaya menjadi jauh lebih rumit dibanding tahun-tahun sebelumnya. Tanpa adanya kecocokan tembolok atau caching prompt yang aktif, biaya menjalankan agen dapat melonjak drastis dari 21 dolar menjadi lebih dari 200 dolar per tugas. Penggunaan upaya penalaran yang berbeda pada model yang sama juga berdampak langsung pada akumulasi token masukan dan total biaya.

   • Biaya penyelesaian tugas individual oleh model AI menunjukkan perbedaan hingga beberapa ordo besar, mulai dari di atas 5 dolar hingga di bawah 0,05 dolar.
   • Biaya untuk mengakses tingkat kecerdasan tertentu turun sekitar 10x lipat dalam kurun waktu satu tahun.
   • Pendorong terbesar biaya agen jangka panjang adalah jumlah token masukan, persentase kecocokan tembolok, dan jumlah giliran per tugas.
3. 15:29 - 19:32

   Strategi Kompromi dan Pengambilan Keputusan Biaya

   Pengembang dihadapkan pada tantangan untuk memilih model yang paling sesuai dengan kebutuhan melalui kurva kompromi biaya dan kecerdasan. Tugas kecerdasan tak terbatas selalu diuntungkan oleh model yang lebih cerdas, sementara tugas kecerdasan terbatas dapat diselesaikan secara optimal menggunakan model yang lebih murah asalkan diatur dengan alat yang tepat. Pendekatan berbasis tolok ukur mandiri membantu pengembang mengoptimalkan anggaran produksi yang semakin tinggi.

   • Tugas AI dapat dikelompokkan menjadi kategori kecerdasan tak terbatas dan kecerdasan terbatas.
   • Kurva Pareto digunakan untuk menavigasi kompromi antara tingkat kecerdasan yang diinginkan dan anggaran biaya yang tersedia.
   • Produk Optima dari Artificial Analysis membantu pengguna mengunggah konteks untuk menghasilkan tolok ukur dan kurva kompromi secara mandiri.