Jangan Percaya Agen AI Anda. Uji Mereka Seperti Seorang Ilmuwan — Stephanie Jarmak, Omni Analytics

하이라이트

• Perubahan prompt awal pada agen pemrograman menurunkan biaya hingga 28% tetapi gagal memaksa agen menggunakan alat yang diinginkan.

• Perbedaan perangkat eksternal mengubah tingkat efektivitas konfigurasi hingga sekitar 30% pada tugas pemrograman yang sama.

• Tolok ukur publik berfungsi sebagai panduan luas, tetapi pengukuran internal harus mencerminkan beban kerja dan lingkungan aktual organisasi.

• Pemeriksaan hash gagal mendeteksi masalah keamanan yang disuntikkan, sementara perbandingan catatan independen berhasil mendeteksi semuanya.

• Tingkat alarm palsu sebesar 1% dari LLM sebagai jakim dapat menghasilkan 10.000 tinjauan yang melampaui kapasitas tenaga ahli domain.

타임라인

1. 00:00 - 04:00

   Evaluasi Agen dan Keterbatasan Perangkat

   Pengalaman membangun tolok ukur publik seperti CodeScaleBench menunjukkan bahwa agen AI sering kali mengabaikan alat yang seharusnya dipanggil meskipun metrik biaya atau performa awal terlihat menarik. Perubahan perangkat eksternal memberikan dampak besar pada tingkat keberhasilan tugas, sehingga pengujian harus mencerminkan kondisi operasional yang sesungguhnya di dalam organisasi.

   • Pengujian alat pencarian kode MCP menunjukkan penurunan biaya 28% saat prompt diubah, namun agen tetap tidak menggunakan alat tersebut.
   • Penggunaan perangkat terbuka yang berbeda pada Terminal Bench 4 menghasilkan selisih efektivitas konfigurasi sekitar 30%.
   • Evaluasi harus mencakup konfigurasi yang semirip mungkin dengan lingkungan kerja aktual untuk menghindari hasil tolok ukur yang menyesatkan.
2. 04:00 - 07:05

   Tolok Ukur Publik versus Evaluasi Internal

   Tolok ukur publik berguna untuk mendapatkan daftar pendek opsi yang akan dieksplorasi, tetapi setiap industri memiliki kebutuhan unik yang tidak terwakili secara akurat oleh tolok ukur umum. Organisasi perlu membangun proses iteratif dengan variasi beban kerja yang relevan dan mencatat observabilitas secara menyeluruh guna memahami perilaku agen secara mendalam.

   • Tolok ukur publik membantu memahami lanskap luas, tetapi tidak boleh diandalkan secara berlebihan karena ketidakstabilan pelatihan model.
   • Pembuatan tolok ukur internal harus mencerminkan berbagai beban kerja di seluruh siklus hidup pengembangan perangkat lunak.
   • Sistem non-deterministik memerlukan pengujian berulang untuk mengukur variasi hasil pada kombinasi model dan perangkat yang berbeda.
3. 07:05 - 10:05

   Menelusuri Alur Informasi dan Metrik Pengukuran

   Penelusuran jejak agen bertindak seperti pekerjaan detektif untuk mengidentifikasi mengapa panggilan alat gagal atau mengapa hasil akhir tidak berubah meskipun komponen individu ditingkatkan. Pengujian alat pencarian seperti grep menunjukkan bahwa penarikan file yang berlebihan memerlukan pengoptimalan metrik yang selaras dengan prioritas operasional nyata, bukan sekadar skor angka tunggal.

   • Analisis kegagalan agen memerlukan penelusuran alur informasi dari ketersediaan alat hingga nilai yang dikembalikan.
   • Peningkatan penggunaan alat tidak selalu mengubah hasil akhir tugas secara signifikan jika informasi tidak dimanfaatkan dengan benar.
   • Pemilihan metrik seperti skor F1 atau keseimbangan presisi terhadap perolehan harus disesuaikan dengan kebutuhan bisnis yang spesifik.
4. 10:05 - 17:02

   Kepercayaan, Keamanan, dan Tinjauan Manusia

   Otomatisasi tingkat lanjut menuntut pembatasan operasional yang jelas antara tindakan otonom dan eskalasi ke manusia guna mencegah kelebihan beban kerja peninjauan. Selain itu, keandalan jejak agen tidak selalu bisa dipercayai begitu saja, sehingga audit keamanan independen dan pengukuran berbasis produksi tetap menjadi standar utama kebenaran sistem.

   • Pabrik perangkat lunak otomatis membutuhkan audit rutin dan gerbang penerapan kode yang independen dari tanda penanda agen.
   • Tingkat alarm palsu 1% dari sistem peninjauan dapat membebani kapasitas tinjauan ahli domain dengan ribuan kasus.
   • Pemeriksaan jejak independen mendeteksi masalah keamanan yang lolos dari pemeriksaan hash internal.