Agen yang Meningkatkan Diri Saat Anda Tidur - Fuad Ali, Arize AI

하이라이트

• Sistem pelacakan (tracing) otomatis mengekstrak pohon jejak lengkap, latensi, penggunaan token, dan argumen pemanggilan alat tanpa perlu instrumentasi manual rumit.

• Agen SRE otomatis seperti Signal berjalan terjadwal tiap enam jam atau dipicu lonjakan latensi di atas 10 detik untuk menganalisis klaster kegagalan produksi.

• Pemeriksaan regresi otomatis mengonversi data kegagalan produksi menjadi dataset uji dinamis (living fixture) yang terus diperbarui.

• Model keputusan (decision models) berbiaya rendah dan berlatensi cepat menyediakan skor kepercayaan eksplisit untuk mengotomatisasi penyortiran kasus ragu-ragu ke peninjau manusia.

• Uji eksperimen validasi bug kategori pada agen Wonder Toys mencapai tingkat keberhasilan 88,9% sebelum kode diajukan sebagai pull request ke GitHub.

타임라인

1. 00:00 - 05:38

   Tantangan Non-Deterministik dan Kebutuhan Siklus Peningkatan Mandiri

   Agen yang menjalankan fungsi mandiri memunculkan ragam kegagalan yang sulit diprediksi secara deterministik. Kesalahan fatal seperti chatbot diler mobil di Kanada yang menjual unit seharga lima dolar membuktikan perlunya sistem penanganan kegagalan yang sistematis. Fondasi perbaikan dimulai dari pemanfaatan trace produksi secara terstruktur guna membentuk siklus pemulihan berkelanjutan.

   • Sifat non-deterministik membuat pelacakan kegagalan agen AI jauh lebih kompleks dibandingkan rekayasa perangkat lunak tradisional.
   • Insiden produksi akibat kesalahan agen dapat memicu risiko finansial dan hukum nyata.
   • Penyelesaian masalah membutuhkan integrasi antara umpan balik manusia, data pengguna, dan trace eksekusi.
2. 05:38 - 09:07

   Lima Tahap Kematangan Observabilitas dan Alur Sinyal

   Mayoritas tim teknik memulai dari pelacakan jejak pemanggilan alat dan pohon eksekusi, namun kesulitan mengevaluasi kebenaran perilaku sistem dalam volume besar. Signal bertindak sebagai agen inspeksi yang mengelompokkan kegagalan, merumuskan evaluasi otomatis, dan menguji draf perbaikan tanpa membebani teknisi pada jam-jam kritis. Intervensi manusia diarahkan pada titik dengan pengaruh tertinggi, seperti persetujuan penggabungan kode.

   • Kematangan operasional bergerak dari pelacakan trace dasar menuju evaluasi terotomatisasi dan pengujian regresi.
   • Membaca ribuan trace produksi secara manual mustahil dilakukan oleh tim teknis.
   • Alur kerja Signal mengotomatisasi rantai investigasi dari trace, pembentukan dataset, perumusan eval, hingga eksperimen pembuktian kode.
3. 09:07 - 16:20

   Instrumentasi Trace dan Investigasi Bug Wonder Toys

   Aplikasi percontohan Wonder Toys mengalami latensi tinggi antara 14 hingga 17 detik akibat kegagalan pemfilteran kategori mainan. LLM menghasilkan nama kategori dengan huruf kapital dan spasi, sedangkan basis data menyimpan format slug berhuruf kecil dengan tanda hubung. Signal membaca trace eksekusi, mencocokkannya dengan repositori kode di GitHub, lalu mengidentifikasi kebutuhan normalisasi string secara presisi.

   • Instrumentasi otomatis open source menangkap seluruh atribut pemanggilan model, rentang alat, dan metadata sesi.
   • Ketidakcocokan format teks antara slug basis data dan output LLM memicu pencarian berulang yang lambat.
   • Analisis otomatis Signal memetakan akar penyebab perbedaan kapitalisasi dan mengusulkan perbaikan pull request dalam enam menit.
4. 16:20 - 20:26

   Arsitektur Agen Terkelola dan Fleksibilitas Ekstensi Eksternal

   Pengguna dapat mengonfigurasi pemicu otomatis agar agen investigasi aktif setiap kali latensi melampaui 10 detik. Lingkungan sandbox mendukung berbagai kerangka kerja agen seperti Codex, Cursor, Cloud Code, dan OpenCode melalui API. Penumpukan kasus uji langsung ke dalam dataset mencegah regresi perilaku buruk yang sama di masa mendatang.

   • Sandbox terkelola mendukung eksekusi terjadwal berkala maupun pemicu berbasis lonjakan ambang batas latensi.
   • Agen investigasi dapat diperluas menggunakan integrasi sistem pemantauan eksternal seperti Datadog dan mekanisme RBAC.
   • Penambahan kasus kegagalan ke dataset menciptakan perlengkapan uji dinamis yang berevolusi secara organik.
5. 20:26 - 31:08

   Tingkatan Evaluator dan Validasi Perbaikan melalui Eksperimen

   Evaluasi kode deterministik memverifikasi keabsahan JSON dan parameter alat dengan biaya minimal, sedangkan model keputusan menyediakan alternatif penilaian klasifikasi yang hemat anggaran. Mengubah instruksi sistem dapat merusak alat lain secara tak terduga, sehingga pengujian regresi menyeluruh wajib dijalankan sebelum merilis versi baru. Melalui integrasi CLI, agen menjalankan pengujian ulang secara mandiri dan menyertakan bukti skor ke deskripsi pull request.

   • Metode evaluasi bervariasi dari kode deterministik, model keputusan berbiaya rendah, hingga agen sebagai penilai.
   • Eksperimen offline memutar ulang kasus uji terhadap versi kode baru guna mencegah efek samping tak terduga.
   • Skor keberhasilan 88,9% pada pengujian ulang membuktikan efektivitas perbaikan sebelum penerapan ke lingkungan produksi.
6. 31:08 - 40:23

   Optimalisasi Ambang Batas Kepercayaan dan Intervensi Manusia

   Keterlibatan manusia tetap dibutuhkan pada titik kritis seperti validasi akhir pull request, kurasi dataset, dan penyelarasan standar evaluasi. Memanfaatkan skor kepercayaan eksplisit dari model keputusan memungkinkan pemilahan otomatis kasus yang ambigu. Seluruh data penilaian, trace, dan hasil evaluasi disimpan dalam repositori terpadu untuk memasok konteks pada siklus perbaikan berikutnya.

   • Penyortiran otomatis mengarahkan data berkepercayaan rendah ke antrean anotasi manusia.
   • Contoh kasus deteksi spam menunjukkan 4,6% data dengan skor 0,3-0,7 dialihkan ke peninjau manual guna menjaga akurasi 99,5%.
   • Trace bukti kegagalan dilampirkan langsung pada deskripsi pull request untuk memudahkan audit manusia.
7. 40:23 - 52:53

   Strategi ROI Evaluasi dan Penyelarasan Kualitas Sesi Tanya Jawab

   Mengukur kualitas filter atau penalaran agen menuntut analisis terhadap kepuasan pengguna akhir sepanjang seluruh sesi percakapan. Menjalankan evaluasi berbasis model LLM pada 100% trace produksi memerlukan pertimbangan biaya yang cermat terhadap risiko kegagalan 0,1%. Visibilitas biaya pada setiap panggilan investigasi memungkinkan pengembang menyeimbangkan antara anggaran operasional dan nilai pemulihan mandiri.

   • Evaluasi kualitatif dinilai berdasarkan keseluruhan sesi interaksi pengguna, bukan hanya respons per putaran tunggal.
   • Pemeriksaan wajib ditempatkan pada saluran CI/CD, sementara evaluasi produksi dikontrol dengan tingkat pengambilan sampel.
   • Arsitektur observabilitas Signal dievaluasi secara internal menggunakan metode dogfooding bertingkat.