Pelajaran dari Kesalahan Bank Rp14 Triliun tentang Agen AI - John Feminella, Two Sigma

Highlights

• Kesalahan transfer dana sebesar 900 juta dolar oleh Citibank pada Agustus 2020 terjadi karena kotak verifikasi akun pencucian tidak dicentang dan operator manusia mengabaikan peringatan sistem.

• Perjanjian pinjaman komersial di seluruh industri mulai memasukkan klausul khusus setelah para pemberi pinjaman menolak mengembalikan dana salah transfer.

• Registri agen berfungsi untuk mencatat, mengenali, serta melacak kepemilikan dan alat yang diakses oleh setiap agen AI secara otomatis.

• Pembatasan akses granular memungkinkan agen AI hanya menyentuh titik akhir dan perangkat yang dinyatakan perlu sejak awal inisialisasi.

• Rem pada mobil diciptakan bukan sekadar untuk berhenti, melainkan agar kendaraan dapat melaju dengan cepat dan aman secara terkendali.

Timeline

1. 00:00 - 05:00

   Pelajaran dari Kesalahan Perbankan 900 Juta Dolar

   Kasus kesalahan transfer Citibank menunjukkan bagaimana kegagalan kontrol operasional dapat menimbulkan kerugian finansial yang masif. Transaksi yang seharusnya hanya memproses pembayaran bunga delapan juta dolar justru mengirimkan seluruh pokok pinjaman akibat kelalaian manusia dalam mengabaikan peringatan sistem. Peristiwa ini mendorong lahirnya klausul kontrak baru dalam perjanjian pinjaman komersial untuk mencegah sengketa serupa di masa depan.

   • Citibank secara keliru mentransfer seluruh pokok pinjaman sekitar 900 juta dolar kepada lebih dari 300 pemberi pinjaman.
   • Kesalahan tersebut dipicu oleh kelalaian mencentang kotak akun pencucian internal pada perangkat lunak Flexcube.
   • Para pemberi pinjaman menolak mengembalikan dana karena pembayaran tersebut dianggap sebagai pelunasan penuh.
2. 05:00 - 09:00

   Menyeimbangkan Otonomi Agen AI dan Sistem Kendali

   Pengoperasian agen AI di lingkungan perusahaan membutuhkan tingkat otonomi tertentu agar dapat berfungsi secara efektif. Isolasi total atau sandboxing memang aman, tetapi membuat agen tidak berguna untuk menyelesaikan tugas nyata. Oleh karena itu, perusahaan memerlukan kerangka kerja yang memberikan kebebasan operasional sekaligus menjaga tingkat risiko pada batas yang dapat diterima.

   • Manusia merupakan sistem non-deterministik yang juga membuat kesalahan, sehingga agen AI tidak perlu dikurung secara berlebihan.
   • Kotak pasir tertutup memberikan keamanan tinggi tetapi menghilangkan kegunaan praktis dari agen AI.
   • Keamanan dan inovasi dapat berjalan berdampingan melalui penerapan batasan dan visibilitas yang tepat.
3. 09:00 - 14:45

   Registri Agen dan Penilaian Risiko Berkelanjutan

   Pertumbuhan jumlah agen AI di dalam organisasi menuntut adanya visibilitas yang jelas melalui registri agen otomatis. Pengelompokan risiko memastikan alat peringkas teks sederhana tidak harus melewati birokrasi peninjauan yang sama ketatnya dengan agen yang menyentuh sistem produksi. Dengan sistem ini, pengembang dapat mendefinisikan kebutuhan akses mereka sendiri tanpa harus melalui proses birokrasi yang lambat.

   • Registri agen mencatat kepemilikan, tujuan, dan alat yang diakses oleh setiap agen di dalam perusahaan.
   • Klasifikasi risiko yang membedakan tugas sederhana dan tugas produksi mencegah kemacetan antrean peninjauan.
   • Kebijakan akses diterapkan secara otomatis berdasarkan deklarasi alat yang dibutuhkan oleh masing-masing agen.
4. 14:45 - 18:45

   Evaluasi Terpusat dan Pengaturan Waktu Proses

   Infrastruktur evaluasi bersama mencegah setiap tim harus membangun sistem pengujian dari awal setiap kali model diperbarui. Pada tingkat waktu proses, pengklasifikasi otomatis menangani keputusan rutin sementara intervensi manusia hanya dialokasikan untuk kasus yang ambigu atau berisiko tinggi. Keseluruhan kendali ini berfungsi layaknya rem pada kendaraan, yakni memungkinkan operasional berjalan cepat sekaligus memastikan keselamatan.

   • Evaluasi terpusat memastikan setiap perubahan model atau prompt diuji menggunakan standar perusahaan yang sama.
   • Pengklasifikasi konservatif independen menyaring panggilan rutin untuk menghindari kelelahan peninjauan manusia.
   • Kendali yang terstruktur memungkinkan tim bergerak cepat tanpa mengorbankan standar keamanan operasional.