Kami Terus Membangun Ulang Agen AI Kami. Inilah yang Bertahan - Fuad Ali, Arize AI

Highlights

• Prototipe pertama Alex pada akhir tahun 2023 memiliki tingkat halusinasi sekitar 50% menggunakan model era 3.5.

• Arsitektur Alex mengalami penulisan ulang besar-besaran pada Agustus 2025 dan peluncuran ulang versi 2.0 pada Februari 2026 menggunakan Sonnet 4.5.

• Sistem memori jangka panjang menggunakan satu file markdown per pengguna dengan batasan 8.000 karakter yang dimuat pada setiap permintaan penuh.

• Pendekatan 10 sub-agen spesialis dibatalkan demi satu agen tunggal yang memuat keterampilan dan alat sesuai permintaan.

• Kode pengendali (control code) mempertahankan status perencanaan dan pemeriksaan penyelesaian, bukan menyerahkannya sepenuhnya kepada model.

Timeline

1. 00:00 - 05:10

   Evolusi Arsitektur dan Garis Waktu Pengembangan Alex

   Perjalanan pengembangan Alex menunjukkan transisi dari prototipe sederhana dengan tingkat halusinasi tinggi menuju sistem terstruktur. Sebagian besar komponen dibangun ulang melalui kode pengendali kustom alih-alih menggunakan kerangka kerja agen siap pakai, memberikan kontrol penuh atas alur kerja dan eksekusi tugas.

   • Alex adalah agen di dalam platform Arize yang mampu membaca jejak, membuat pengujian, merencanakan tugas, dan menghasilkan data sintetis.
   • Prototipe awal pada akhir 2023 digantikan oleh pemanggilan alat iteratif dan daftar tugas pada Agustus 2025.
   • Model Sonnet 4.5 menjadi default pada peluncuran Alex 2.0 di Februari 2026.
2. 05:10 - 11:53

   Pengelolaan Rencana, Giliran, dan Hasil Alat yang Efisien

   Penggunaan daftar tugas secara langsung oleh model sering kali menyebabkan pemborosan panggilan LLM. Sistem diubah agar kode pengendali mempertahankan status dan urutan langkah. Selain itu, hasil alat yang berukuran besar ditangani dengan memotong data dan membiarkan kode agen mengambil konteks penuh bila diperlukan.

   • Perencanaan tugas dipindahkan ke dalam kode pengendali agar model tidak kehilangan fokus akibat pemanggilan alat yang berlebihan.
   • Penyelesaian giliran ditegakkan melalui pemanggilan selesai eksplisit yang memantul jika masih ada item rencana terbuka.
   • Hasil alat yang terlalu besar dipotong dan dikelola menggunakan penunjuk serta kode untuk menghindari ledakan jendela konteks.
3. 11:53 - 15:26

   Memori Jangka Panjang dan Konsolidasi Agen Spesialis

   Penyimpanan memori yang kompleks seperti knowledge graph atau pengambilan vektor ditinggalkan demi kesederhanaan file markdown per pengguna. Pendekatan ini mencegah ledakan konteks dan memudahkan audit manusia. Konsolidasi sub-agen menjadi satu agen tunggal juga menyederhanakan arsitektur sistem seiring peningkatan kemampuan model.

   • Memori jangka panjang menggunakan file markdown berukuran maksimal 8.000 karakter per pengguna yang diperbarui oleh pekerjaan latar belakang.
   • Pendekatan sepuluh agen spesialis digabungkan menjadi satu agen tunggal yang memuat keterampilan sesuai permintaan.
   • Pemilihan model didasarkan pada opsi yang cepat dan memadai, serta eksplorasi perutean otomatis untuk tugas spesifik.
4. 15:26 - 19:57

   Pengujian Produksi, Metrik Kualitas, dan Keputusan Manusia

   Pelacakan menyeluruh memungkinkan setiap interaksi produksi menjadi sarana pengujian dan eksperimen A/B. Meskipun alat otomatis membantu mendeteksi anomali kualitatif dan latensi, keputusan akhir mengenai standar kualitas dan penyesuaian model tetap memerlukan pertimbangan manusia.

   • Sesi produksi dan jejak langsung digunakan sebagai kasus uji dan dataset regresi yang hidup.
   • Bug pada agen bersifat kualitatif, seperti perulangan panggilan alat yang identik, sehingga memerlukan alat otomatis seperti Signal.
   • Penilaian manusia tetap krusial untuk menetapkan label emas, menyelaraskan evaluator, dan memutuskan keseimbangan antara kecepatan dan kualitas.