Otak vs Tangan: Cara Menjalankan Agen AI dengan Aman di Produksi — Viren Baraiya

Highlights

• Sistem agen dalam produksi bukan sekadar chatbot, melainkan mencakup pekerja latar belakang, agen berbasis peristiwa, dan koordinator yang berjalan lama.

• Model bahasa besar (LLM) bertindak sebagai otak non-deterministik untuk perencanaan, sedangkan harness bertindak sebagai tangan deterministik yang mengeksekusi tugas.

• Harness agen beroperasi sebagai saga terikat lambat (late-bound saga) yang menyusun alur kerja dinamis pada saat waktu proses (runtime).

• Eksekusi tugas kritis seperti pengoperasian kluster atau sistem pembayaran membutuhkan proses deterministik yang aman dan konsisten, bukan diserahkan pada halusinasi LLM.

• Platform Conductor digunakan sebagai mesin eksekusi alur kerja sumber terbuka untuk mengompilasi dan mengeksekusi rencana agen secara deterministik.

Timeline

1. 00:00 - 03:02

   Evolusi Agen AI dalam Produksi

   Pengembangan agen AI berkembang pesat dari contoh sederhana seperti chatbot interaktif menuju sistem berorientasi produksi yang kompleks. Agen produksi mencakup pekerja latar belakang yang berjalan sesuai jadwal, pemantau log berbasis peristiwa, serta koordinator pemantau berdurasi panjang. Pendekatan ini membagi tanggung jawab ke dalam beberapa agen khusus untuk menghindari halusinasi akibat beban tugas yang terlalu luas.

   • Penggunaan agen AI telah meluas melebihi sekadar chatbot layanan pelanggan.
   • Arsitektur agen modern mencakup pekerja latar belakang, agen berbasis peristiwa, dan sistem multi-agen.
   • Agen AI kini lebih menyerupai aplikasi penuh ketimbang sekadar komponen tunggal.
2. 03:02 - 06:34

   Peran Harness dan Otomasi Layanan Mikro

   Sama seperti arsitektur layanan mikro yang membagi aplikasi menjadi komponen dengan tanggung jawab tunggal, harness menyatukan berbagai agen, API, dan interaksi manusia ke dalam satu sistem terintegrasi. Fleksibilitas reasoning dari LLM digunakan pada area non-deterministik, sementara proses kritis seperti manajemen infrastruktur atau transaksi keuangan tetap dikendalikan oleh kode deterministik dalam harness.

   • Harness berfungsi sebagai aplikasi orkestrasi yang mengontrol eksekusi agen.
   • Aplikasi agen menggabungkan komponen LLM non-deterministik dengan proses kode deterministik.
   • Harness berjalan sebagai proses berdurasi panjang dari hitungan detik hingga berbulan-bulan.
3. 06:34 - 11:49

   Konsep Otak vs Tangan dan Pemisahan Tanggung Jawab

   Sistem yang berjalan lama membutuhkan ketahanan terhadap kegagalan jaringan dan pemadaman infrastruktur. Pemisahan tugas yang tegas memastikan LLM hanya mengusulkan rencana tindakan, sedangkan harness mengeksekusi tindakan tersebut secara deterministik dan idempoten. Pendekatan saga terikat lambat ini memungkinkan agen menangani kombinasi eksekusi yang kompleks tanpa perlu mendaftarkan setiap kemungkinan jalur alur kerja secara manual.

   • Daya tahan (durability) dan pelacakan status dunia adalah persyaratan mutlak bagi sistem harness.
   • LLM bertindak sebagai otak untuk merencanakan tindakan, sedangkan harness bertindak sebagai tangan untuk mengeksekusi tindakan.
   • Harness agentik beroperasi sebagai saga terikat lambat yang membangun alur kerja dinamis pada saat runtime.
4. 11:49 - 16:39

   Demonstrasi Agen Remediasi SRE dengan Conductor

   Dalam pengujian dunia nyata, agen SRE menganalisis masalah sistem, mengusulkan urutan tindakan (seperti mengumpulkan bukti dan melakukan rollback), lalu mengompilasi rencana tersebut ke dalam mesin eksekusi Conductor. Setelah iterasi pertama selesai, agen mengevaluasi ulang kondisi sistem dan secara otomatis menyesuaikan langkah berikutnya tanpa mengulangi tindakan yang sudah berhasil dilakukan.

   • Agen SRE mengusulkan urutan langkah remediasi berdasarkan analisis log dan sistem.
   • Alat Plan and Compile mengompilasi rencana LLM menjadi alur kerja terstruktur yang dieksekusi oleh Conductor.
   • Agen memperbarui tindakannya secara adaptif pada iterasi berikutnya berdasarkan status dunia terbaru.