300 Agen, 60 Orang: Cara Kami Mengamankan Agen AI Kami Sendiri - Aiden Sochowski, Runlayer

Highlights

• Perusahaan dengan 50 hingga 60 karyawan menjalankan lebih dari 300 agen AI setiap hari.

• Perpindahan penggunaan model AI yang lebih murah ke model yang lebih mahal meningkatkan biaya operasional hingga lebih dari 100 kali lipat dalam seminggu.

• Tim rekrutmen membuat server MCP menggunakan metode vibe-coding yang memicu error berulang dan menyebabkan pembengkakan biaya token.

• Model pengklasifikasi internal dilatih untuk menganalisis setiap pemanggilan alat dan memastikan keselarasan dengan tujuan awal sesi agen.

• Pembatasan cakupan izin penulisan pada sistem merupakan cara paling efektif untuk menjaga kemurnian jendela konteks agen AI.

Timeline

1. 00:00 - 03:37

   Visibilitas Agen Internal dan Risiko Permukaan Serangan

   Banyak perusahaan tidak mengetahui aktivitas klien atau agen AI yang beroperasi secara lokal di mesin karyawan tanpa pencatatan yang jelas. Masalah ini mendorong pemantauan mandiri melalui penerapan gateway terpusat yang mencatat setiap sesi dan pemanggilan alat. Jumlah agen di dalam perusahaan seringkali melebihi jumlah total karyawannya. Setiap agen memiliki potensi radius ledakan yang berbeda tergantung pada alat yang diakses dan integrasi sistemnya.

   • Kurangnya visibilitas terhadap agen yang berjalan di perangkat tidak dikelola menciptakan celah keamanan korporat.
   • Organisasi dengan 60 karyawan mengoperasikan lebih dari 300 agen setiap harinya.
   • Pemetaan agen dilakukan berdasarkan topik dan tingkat risiko karena setiap pemanggilan alat memperluas permukaan serangan.
2. 03:37 - 08:37

   Kebijakan Keamanan dan Tantangan Prompt Injection

   Interaksi agen dengan data dukungan eksternal membuka celah bagi serangan injeksi prompt, di mana instruksi palsu dapat mencuri informasi prospektif atau memanipulasi kalender. Penentuan aturan blokir secara kaku sulit dilakukan karena keputusan keamanan bergantung pada konteks situasional. Pelatihan model pengklasifikasi khusus membantu menyaring data masuk dan mencegah kebocoran informasi pribadi secara eksternal.

   • Email berisi instruksi berbahaya dari aktor eksternal dapat memicu eksfiltrasi data jika agen memiliki izin berlebihan.
   • Penentuan aturan kebijakan tunggal secara manual melalui gateway agen terbukti sangat rumit dan bergantung pada konteks.
   • Model pengklasifikasi diterapkan untuk mendeteksi potensi instruksi tersembunyi yang masuk melalui data teks.
3. 08:37 - 12:39

   Model Pengklasifikasi dan Pembatasan Hak Akses Agen

   Penyimpangan perilaku agen dari tugas aslinya dideteksi melalui analisis riwayat pemanggilan alat secara berkala. Bot internal yang memegang hak akses luas ke sistem rekrutmen rentan mengekspos data sensitif seperti negosiasi gaji. Sistem keamanan internal dikembangkan untuk memberikan saran pencabutan izin yang tidak perlu guna menjaga isolasi antar agen di dalam jaringan perusahaan.

   • Model pengklasifikasi internal mengevaluasi apakah pemanggilan alat dalam suatu sesi sesuai dengan tujuan yang ditetapkan.
   • Bot perekrut dengan akses tinggi ke ATS, kalender, dan sistem pesan memerlukan pengawasan ketat terhadap anomali penggunaan alat.
   • Penyempitan cakupan izin sejak awal mencegah satu agen yang terkontaminasi merusak sistem agen lainnya.
4. 12:39 - 16:30

   Pengendalian Biaya Operasional dan Kualitas Server MCP

   Server MCP yang dirancang tanpa pengujian perangkat lunak yang memadai sering mengalami kegagalan berulang yang memperbesar biaya token input dan output. Perubahan model dasar yang dilakukan pengembang tanpa evaluasi efisiensi memicu pembengkakan biaya yang sulit dibenarkan dalam skala korporat. Pengendalian biaya dan keamanan secara keseluruhan menuntut visibilitas penuh serta alat intervensi yang memadai untuk menegakkan kebijakan internal.

   • Pembuatan server MCP menggunakan metode vibe-coding oleh non-pemrogram menghasilkan error pemformatan berulang yang memicu pemborosan token.
   • Pergantian konfigurasi model AI dari versi murah ke versi lanjutan menyebabkan lonjakan biaya hingga 100 kali lipat dalam seminggu.
   • Pemantauan alat yang tepat diperlukan untuk mengintervensi tindakan berisiko tinggi dan mengendalikan anggaran operasional.