Perbaikan Agen Anda Malah Merusak Hal Lain - Sofia Jakovcevic, Arize AI

하이라이트

• Sistem agen mengalami kegagalan pada saat runtime dan bukan pada tingkat kode statis.

• Perubahan prompt satu baris sederhana yang meningkatkan skor keamanan tindakan sebesar 17 poin justru menurunkan tingkat penyelesaian tugas sebesar 17 poin.

• Jejak (trace) dari backend observabilitas berfungsi sebagai sumber kebenaran baru yang merepresentasikan perilaku sistem yang sebenarnya.

• Siklus regresi lima langkah dimulai dari kumpulan data produksi nyata, dilanjutkan dengan evaluator LLM sebagai juri, eksperimen garis dasar, iterasi perubahan, dan gerbang otomatis dalam CI.

• Setiap kegagalan agen di produksi harus ditarik kembali menjadi kasus pengujian baru dalam rangkaian pengujian regresi.

• Masa depan observabilitas bergeser menuju peningkatan diri di mana agen dapat mendiagnosis dan memperbaiki diri mereka sendiri secara mandiri.

타임라인

1. 00:00:00 - 05:05:00

   Mengapa Kegagalan Agen Sulit Dideteksi

   Sistem AI menyembunyikan logika operasionalnya dalam kotak hitam yang memerlukan observabilitas untuk melacak perilaku langkah demi langkah. Ketika sebuah kebijakan keamanan ditambahkan untuk meminta konfirmasi sebelum agen bertindak, keamanan memang meningkat sebesar 17 poin, tetapi tingkat penyelesaian tugas turun sebesar 17 poin karena interupsi pengguna. Fenomena ini membuktikan bahwa perubahan kode bersifat lokal, sedangkan perubahan perilaku terjadi di produksi dan tidak dapat diandalkan hanya berdasarkan asumsi atau 'vibe'.

   • Sistem AI sering kali menjadi kotak hitam yang sulit diprediksi tanpa observabilitas.
   • Agen gagal pada saat runtime alih-alih pada tingkat kode statis.
   • Perubahan prompt satu baris dapat menghasilkan trade-off yang saling meniadakan antara keamanan tindakan dan penyelesaian tugas.
2. 05:05:00 - 09:50:00

   Membangun Siklus Regresi Lima Langkah

   Proses pengujian regresi yang andal memerlukan pengumpulan data dari alur kerja rata-rata, kasus kegagalan yang diketahui, kasus ekstrem, serta alur kerja sukses yang harus dilindungi. Mekanisme penilaian menggunakan LLM sebagai juri untuk mengukur dimensi kualitatif seperti halusinasi atau penyelesaian tugas menjadi skor biner atau rentang nilai. Hasil eksperimen garis dasar ini menjadi acuan objektif untuk menguji dampak dari setiap perubahan prompt, model, atau alat.

   • Siklus regresi dimulai dengan menarik jejak produksi nyata sebagai kumpulan data uji.
   • Evaluator berbasis LLM sebagai juri mengubah metrik subjektif menjadi skor numerik yang terstandarisasi.
   • Eksperimen garis dasar dijalankan dengan menguji agen terhadap seluruh kumpulan data produksi sebelum menerapkan perubahan.
3. 09:50:00 - 16:15:00

   Otomatisasi Eksperimen dan Evaluasi di Platform

   Pengujian dapat dilakukan secara visual melalui platform dengan membandingkan beberapa versi prompt secara bersamaan untuk melihat kompromi kinerja terbaik. Pengembang dapat mengevaluasi agen tunggal di Prompt Playground atau menghubungkan agen jarak jauh untuk menguji interaksi sistem multi-agen yang kompleks. Otomatisasi penuh tercapai ketika eksperimen ini dijalankan secara otomatis pada setiap pull request sehingga kode yang buruk tidak dapat lolos ke produksi.

   • Platform observabilitas memungkinkan perbandingan berbagai perubahan prompt dan model secara berdampingan.
   • Prompt Playground dan Agent Playground memfasilitasi pengujian agen tunggal maupun sistem multi-agen jarak jauh.
   • Eksperimen dapat diintegrasikan ke dalam alur kerja CI seperti GitHub Actions untuk menghentikan pull request yang gagal uji regresi.
4. 16:15:00 - 00:19:15

   Masa Depan Observabilitas dan Peningkatan Diri Agen

   Siklus pengujian diperkuat dengan menjadikan setiap kegagalan produksi sebagai kasus baru yang memperkuat rangkaian regresi. Keterbatasan utama saat ini adalah manusia yang masih bertindak sebagai hambatan peninjauan manual di dasbor. Integrasi antara agen pengodean dan backend observabilitas memungkinkan agen untuk mendiagnosis masalah, menyelidiki kesalahan, dan mengusulkan perbaikan secara mandiri dengan kecepatan agen.

   • Setiap kegagalan di produksi harus dimasukkan kembali sebagai kasus uji baru dalam rangkaian pengujian regresi.
   • Coding agents saat ini sering mendorong pull request secara buta tanpa mengetahui kondisi runtime di produksi.
   • Masa depan observabilitas bergeser dari manusia yang memahami agen menjadi agen yang mengevaluasi dan memperbaiki diri sendiri.