Berhenti Memberikan Alat ke Agen Anda. Berikan Sandbox - Mikyo King, Arize AI

Highlights

• Arise AI berhasil mengurangi jumlah penggunaan token agen sebesar 43% setelah mengadopsi code mode.

• Biaya operasional agen mengalami penurunan sebesar 31% berkat penerapan code mode di platform Phoenix.

• Code mode memungkinkan model untuk mengeksekusi beberapa alat dalam satu putaran tunggal serta memangkas pembengkakan jendela konteks.

• Lingkungan pemrograman di dalam sandbox memberikan agen kemampuan untuk membuat alatnya sendiri secara dinamis.

Timeline

1. 00:00 - 05:13

   Evolusi Arsitektur Agen Menuju Code Mode

   Perbandingan antara pendekatan tradisional dan code mode menunjukkan bagaimana batasan perangkat lunak dapat dilebur oleh agen pengkodean. Alih-alih membebani jendela konteks dengan ratusan alat yang tidak relevan, code mode memberikan kemampuan bagi model untuk mengeksekusi skrip secara berurutan atau paralel dalam satu putaran tunggal.

   • Pengembangan perangkat lunak terbagi menjadi kategori untuk insinyur dan non-insinyur.
   • Pemanggilan alat tradisional menyebabkan pembengkakan jendela konteks, latensi tinggi, serta peningkatan jumlah giliran.
   • Code mode menggantikan katalog alat besar dengan kemampuan pencarian dan lingkungan pemrograman eksekusi.
2. 05:13 - 08:19

   Alasan Pengadopsian dan Implementasi Code Mode

   Penerapan code mode didorong oleh kebutuhan akan efisiensi token dan perilaku muncul. Platform Phoenix memanfaatkan integrasi lingkungan Bash, Python, serta SQL untuk memproses kueri agregat yang kompleks tanpa harus melakukan penomoran halaman pada seluruh data lacakan.

   • Pengungkapan alat secara progresif menghilangkan kebutuhan katalog alat masif di awal.
   • Komposisi alur kerja memungkinkan penggabungan perintah secara sekuensial maupun bercabang.
   • Integrasi Bash, kotak pasir Python, endpoint CRUD, dan teks-ke-SQL memperluas kapabilitas agen secara signifikan.
3. 08:19 - 14:30

   Tantangan Operasional dan Evaluasi Kinerja

   Meskipun code mode menghadirkan kompleksitas operasional seperti penundaan boot sandbox dan kesulitan debugging kode yang dihasilkan LLM, evaluasi menggunakan kerangka kerja Harbor membuktikan peningkatan efisiensi yang signifikan. Hasil pengujian menunjukkan pemotongan biaya sebesar 31% serta penurunan token sebesar 43% tanpa mengorbankan latensi.

   • Manajemen sumber daya seperti CPU, memori, manajemen jaringan, dan kerahasiaan kredensial menjadi tantangan utama.
   • Kerangka kerja Harbor digunakan untuk menguji agen dalam lingkungan sandbox dengan akses jaringan dimatikan.
   • Penggunaan code mode menurunkan konsumsi token sebesar 43% dan memangkas biaya operasional sebesar 31%.