Cara Mengetahui Kapan Agen AI Dapat Bekerja Tanpa Pengawasan — Evan Kormos, Coinbase

하이라이트

• Kebijakan menetapkan aturan dan keputusan operasional organisasi yang bertindak sebagai niat institusional asli atau prompt sistem asli.

• Grafik asiklik berarah atau DAG merepresentasikan langkah-langkah dan dependensi alur kerja tanpa berputar kembali ke dirinya sendiri.

• Agen bersifat probabilistik sehingga permintaan yang sama dapat menghasilkan jawaban berbeda yang sama-sama dapat diterima.

• Manusia melakukan verifikasi manual pada tahap awal sebelum beralih ke sistem pengambilan sampel saat ambang batas kebijakan tercapai.

타임라인

1. 00:00 - 03:11

   Kebijakan dan Model Operasional

   Kebijakan organisasi berfungsi sebagai niat institusional asli atau prompt sistem yang mengatur jalannya operasional. Sistem yang berjalan dipisahkan dari perubahan kebijakan pembuatan agar adaptasi produk dapat bergerak cepat. Agen berinteraksi langsung di dalam model operasional yang melibatkan tenaga manusia dan perangkat teknologi.

   • Kebijakan menetapkan aturan risiko dan kepatuhan menggunakan bahasa seperti harus, boleh, dan sebaiknya.
   • Status pembuatan dan status berjalan dipisahkan agar sistem terus berkembang secara longgar di bawah kebijakan.
   • Agen beroperasi di persimpangan antara orang, proses, dan teknologi.
2. 03:11 - 08:52

   Alur Kerja dan Grafik Proses

   Pemetaan alur kerja menggunakan grafik asiklik berarah atau DAG membantu mengatur dependensi proses seperti pengiriman perangkat lunak atau pinjaman komersial. Di dalam node proses tertentu, perulangan terjadi menggunakan grafik siklik berarah untuk menyaring pekerjaan hingga mencapai standar yang memadai. Peningkatan kecepatan eksekusi oleh agen menuntut visibilitas metrik yang kuat untuk mencegah hambatan operasional.

   • DAG merepresentasikan alur kerja maju tanpa perulangan kembali ke titik awal.
   • DCG atau grafik siklik berarah mengelola alur perulangan internal seperti proses tinjauan kode.
   • Visibilitas metrik operasional menjadi sangat penting untuk mengatasi hambatan akibat peningkatan kecepatan agen.
3. 08:52 - 13:12

   Variabilitas dan Mekanisme Keyakinan

   Variabilitas input dan output menjadi tantangan utama dalam rekayasa AI yang memerlukan konteks tepercaya serta penyuntikan status DAG ke dalam agen. Perangkat lunak tradisional mengandalkan pengujian unit, sementara agen memerlukan evaluasi statistik skala besar. Mekanisme keyakinan ini dibangun untuk memastikan keluaran agen memenuhi standar kualitas yang dapat diandalkan.

   • Input berkualitas tinggi menghasilkan output yang lebih baik dengan biaya komputasi yang lebih rendah.
   • Sifat agen yang probabilistik membutuhkan kumpulan data representatif dan evaluasi berulang.
   • Pengujian statistik menggantikan perbandingan keluaran langsung yang belum cukup untuk membuktikan kualitas.
4. 03:12 - 17:23

   Transisi Menuju Pengawasan Mandiri

   Evaluasi kesesuaian tugas dilakukan dengan memeriksa kemudahan penayangan kebijakan, batas perulangan, pelacakan, dan pengalihan ke manusia. Seiring tercapainya ambang batas kebijakan, manusia beralih dari pengawasan penuh ke pengambilan sampel parsial dan penanganan pengecualian. Kombinasi tata kelola deterministik dan adaptivitas internal mempercepat seluruh model operasional organisasi.

   • Pertanyaan validasi membantu menentukan simpul mana dalam DAG yang paling cocok untuk otomatisasi.
   • Transisi pengawasan dimulai dari verifikasi manual total menuju sistem pengambilan sampel acak.
   • Resep operasional utama adalah menjaga sistem tetap deterministik di luar dan adaptif di dalam.