Cara Menguji Agen Anda pada Tugas Nyata dengan Harbor - Xander Song, Arize AI

하이라이트

• Harbor menjalankan tugas agen di lingkungan Docker sandbox baru yang dipasangi verifikator independen untuk menghasilkan imbalan biner tanpa memandang implementasi internal agen.

• Skrip oracle bertindak sebagai solusi tugas deterministik untuk memvalidasi konfigurasi lingkungan, integritas data, dan logika verifikator sebelum token model AI digunakan.

• Spesifikasi Agent Trajectory Interchange Format (ATIF) Harbor mengonversi langkah eksekusi agen ke format OpenInference berbasis OpenTelemetry untuk analisis observabilitas.

• Eksekusi pengujian Harbor berskala secara horizontal pada platform sandbox cloud seperti Daytona menggunakan 200 pekerja konkuren untuk menghitung metrik pass at k.

• Pembaruan prompt sistem untuk mengarahkan kueri agregasi ke perkakas SQL MCP memangkas jumlah panggilan alat dan putaran agen secara signifikan.

타임라인

1. 00:00 - 03:35

   Prinsip Dasar dan Konsep Arsitektur Harbor

   Pengembangan agen AI membutuhkan pengujian berbasis bukti nyata daripada firasat subjektif. Harbor menyediakan lingkungan sandbox baru berisi data relevan untuk setiap tugas. Verifikator memeriksa kondisi akhir lingkungan setelah agen berhenti beroperasi untuk memastikan perubahan fungsional menghasilkan peningkatan performa tanpa regresi.

   • Harbor menyuplai instruksi tugas bahasa alami dan data realistis ke agen yang berjalan di sandbox terisolasi.
   • Verifikator spesifik memeriksa efek samping lingkungan untuk menghasilkan skor imbalan biner berupa nol atau satu.
   • Pemisahan antara tugas dan verifikator memungkinkan pengembang merombak implementasi agen sambil mempertahankan tolok ukur pengujian yang konstan.
2. 03:35 - 07:49

   Struktur Tugas, Siklus Job, dan Validasi Oracle

   Dataset Harbor mengelompokkan banyak tugas dan mengeksekusi sejumlah uji coba per tugas guna mengatasi sifat stokastik LLM. Setelah agen selesai memodifikasi sistem berkas atau basis data, skrip verifikator menulis skor ke file reward.txt. Seluruh siklus eksekusi tugas, uji coba, verifikasi, dan pengumpulan trajektori ini membentuk satu kesatuan job.

   • Setiap tugas Harbor terdiri dari file instruksi markdown, spesifikasi lingkungan Dockerfile, dan skrip verifikator.
   • Trajektori agen diekspor dalam format penelusuran JSON bernama Agent Trajectory Interchange Format (ATIF) untuk kebutuhan debugging.
   • Skrip oracle mengeksekusi solusi deterministik guna memvalidasi data dan lingkungan sebelum pengujian agen berbayar dilakukan.
3. 07:49 - 14:21

   Contoh Kasus Perbaikan Migrasi dan Isolasi Pengujian

   Pada skenario migrasi basis data yang gagal, file SQL dan skema DDL dimasukkan ke lingkungan uji agar agen memperbaikinya. Skrip verifikator memeriksa hasil akhir tanpa bergantung pada pustaka, kerangka kerja, atau jenis antarmuka agen yang digunakan. Pengujian yang terlepas dari detail implementasi memungkinkan refaktorisasi agen berlangsung aman tanpa merusak tolok ukur.

   • Kasus perbaikan migrasi basis data memvalidasi kode status keluar nol serta keberadaan kolom dan indeks yang tepat.
   • Skrip pengujian baru dimuat ke dalam container Docker setelah agen selesai guna mencegah manipulasi hasil pengujian.
   • Verifikator memperlakukan agen sebagai kotak hitam dan hanya menilai luaran sistem berkas mirip pengujian integrasi antarmuka.
4. 14:21 - 20:37

   Skalabilitas Pengujian Paralel dan Integrasi Phoenix

   Eksekusi paralel pada penyedia sandbox cloud memungkinkan evaluasi rangkaian tugas besar diselesaikan secara cepat untuk berbagai model seperti Claude Code dan Codex. Phoenix memetakan dataset serta job Harbor ke dalam pelacakan eksperimen dengan riwayat versi. Format data OpenInference menyediakan antarmuka pemantauan span, panggilan LLM, dan eksekusi alat secara terperinci.

   • Isolasi container Docker memungkinkan eksekusi paralel horizontal hingga 200 pekerja konkuren pada infrastruktur Daytona.
   • Metrik agregat pass at k mengukur probabilitas keberhasilan agen menyelesaikan tugas setelah k kali percobaan.
   • Phoenix mengonversi trajektori ATIF ke standar OpenInference berbasis OpenTelemetry untuk visualisasi eksperimen dan evaluasi imbalan.
5. 20:37 - 33:23

   Arsitektur Sistem Phoenix dan Orkestrasi CLI Harbor

   Lingkungan pengujian membungkus server backend Phoenix, database SQLite realistis, dan agen klien ke dalam satu kontainer utuh. Harbor mengatur siklus hidup container berdasarkan kontrak jalur penempatan skrip inisiasi dan skrip verifikasi. Pendekatan pengujian berbasis lingkungan utuh ini sengaja menghindari pembuatan mock tiruan pada panggilan layanan eksternal.

   • Phoenix menguji tiga permukaan agen sekaligus: agen baris perintah (CLI), server Model Context Protocol (MCP), dan agen internal Pixie.
   • Harbor beroperasi sebagai orkestrator CLI dari mesin inang atau runner CI, bukan dari dalam container target.
   • Aplikasi server node tunggal mempermudah proses enkapsulasi seluruh layanan backend dan basis data SQLite ke dalam satu container Docker.
6. 33:23 - 44:11

   Optimasi Panggilan Alat SQL dan Validasi Perubahan Prompt

   Kueri analitik kompleks membebani sistem jika agen memecahnya menjadi ratusan pemanggilan REST atau GraphQL berpaginasi. Penambahan alat SQL langsung memerlukan pembaruan instruksi sistem agar agen memprioritaskan SQL untuk agregasi data. Dataset pertanyaan sintetis divalidasi terlebih dahulu menggunakan skrip oracle sebelum dipakai mengukur penurunan latensi dan pemanggilan alat pada eksperimen agen.

   • Penambahan perkakas baca-saja SQL pada server MCP mencegah agen melakukan penomoran halaman berulang pada kueri agregasi GraphQL.
   • Claude menghasilkan pertanyaan agregasi sintetis beserta skrip oracle SQL untuk membentuk dataset pengujian terverifikasi.
   • Pembaruan prompt instruksi berhasil meningkatkan frekuensi eksekusi kueri SQL sekaligus menekan rata-rata jumlah panggilan alat per tugas.
7. 44:11 - 55:52

   Analisis Trajektori Komparatif dan Evaluasi Sistem Hibrida

   Pemantauan jejak mendalam menunjukkan agen beralih dari pemanggilan emulator bash berbantuan GraphQL ke kueri SQL langsung ke database SQLite. Pengujian regresi tingkat alur kerja difokuskan pada keterampilan agen agar skenario utama berfungsi stabil di berbagai model bahasa. Penyiapan data realistis di penyimpanan awan menjadi komponen paling penting untuk mengungkap kendala sistem yang sebenarnya.

   • Perbandingan visual antar-pekerjaan membuktikan bahwa peralihan ke SQL memangkas durasi putaran multi-langkah menjadi giliran tunggal.
   • Verifikator dapat memeriksa trajektori eksekusi secara spesifik saat tujuan pengujian beralih dari kebenaran logika ke optimasi efisiensi alat.
   • Objek evaluasi Harbor adalah sistem hibrida terintegrasi yang mencakup model dasar, perkakas server MCP, prompt, dan CLI.