Cara Menguji Agen AI Saat Belum Ada Tolok Ukur — Nathanael Weill, Air Canada
원제 · How to Test AI Agents When No Benchmark Exists — Nathanael Weill, Air Canada
핵심 요약
Pembalikan masalah dengan menghasilkan skenario dan pertanyaan uji dari data dasar memungkinkan otomatisasi evaluasi agen AI melalui kode, sehingga meningkatkan frekuensi pengujian dari sekali seminggu menjadi puluhan kali sehari.
하이라이트
Air Canada mengandalkan solusi AI untuk berbagai segmen operasional, korporat, komersial, dan loyalitas tanpa adanya tolok ukur publik yang dapat diandalkan.
Proses evaluasi awal bergantung pada rapat mingguan bersama pakar domain, yang hanya menghasilkan satu kali percobaan solusi dalam seminggu.
Pembalikan masalah dilakukan dengan meminta model bahasa besar menulis pertanyaan atau skenario berdasarkan data yang ada agar evaluasi dapat diotomatisasi melalui kode.
Pendekatan pengujian berbalik ini meningkatkan frekuensi evaluasi dari satu kali seminggu menjadi puluhan kali sehari.
Lima teknik spesifik diterapkan untuk menguji analisis kontrak pemasok, termasuk menggunakan riwayat keputusan, menghasilkan aturan kontrak, memodifikasi kontrak yang sah, menguji variasi nama atau alamat, dan memanfaatkan templat kosong.
타임라인
Tantangan Ketiadaan Tolok Ukur dan Keterbatasan Akses Pakar
Pengembangan agen AI untuk tugas spesifik sering kali terkendala oleh tidak adanya tolok ukur publik yang siap pakai. Ketergantungan pada masukan pakar domain yang sibuk memperlambat siklus iterasi. Penambahan kompleksitas pada sistem RAG justru sering menimbulkan masalah baru alih-alih meningkatkan performa. Akibatnya, tim memerlukan metode evaluasi yang lebih efisien agar dapat bergerak lebih cepat.
- Tim AI di Air Canada bertanggung jawab menghadirkan solusi untuk operasi, korporat, komersial, dan loyalitas.
- Ketiadaan tolok ukur publik dan keterbatasan akses ke pakar domain menghambat proses pembuatan evaluasi agen AI.
- Kompleksitas alur kerja yang bertambah sering kali merusak fungsi sistem yang sebelumnya sudah berjalan dengan baik.
- Rapat evaluasi mingguan dengan para ahli memakan waktu lama dan hanya memungkinkan satu kali uji coba solusi dalam seminggu.
Pembalikan Masalah dan Otomatisasi Evaluasi Berbasis Kode
Solusi untuk mengatasi lambatnya siklus pengujian adalah membalik proses evaluasi. Alih-alih menunggu pakar menilai jawaban secara manual, sistem memanfaatkan teks yang ada untuk menghasilkan pertanyaan uji secara otomatis. Pendekatan ini menghilangkan bias subjektif dan memungkinkan tim menjalankan pengujian berulang kali setiap hari. Penggunaan kode untuk menilai kecocokan mempercepat penyempurnaan komponen penelusuran dan pemotongan teks.
- Metode evaluasi dibalik dengan meminta model bahasa besar membuat pertanyaan berdasarkan dokumen yang ada.
- Hasil temuan agen dibandingkan langsung dengan dokumen sumber menggunakan kode komputer tanpa memerlukan opini subjektif.
- Frekuensi evaluasi meningkat drastis dari satu kali dalam seminggu menjadi puluhan kali dalam sehari.
- Akurasi sistem meningkat secara konsisten setelah kompleksitas yang tidak perlu dikurangi dan fokus diarahkan pada komponen inti RAG.
Penerapan Lima Teknik Pengujian pada Analisis Kontrak Pemasok
Analisis kontrak pemasok di perusahaan besar seperti Air Canada merupakan tugas yang panjang dan mahal jika dilakukan secara manual. Untuk menguji agen AI pada domain ini, tim menerapkan lima teknik berbeda yang berfokus pada manipulasi data uji yang terkelola. Modifikasi klausul dari kontrak asli untuk melihat apakah agen dapat mendeteksi bagian yang hilang memberikan tolok ukur yang sangat andal. Sebagian besar pemeriksaan dirancang agar dapat dieksekusi melalui kode murni guna menghindari ketidakkonsistenan dari penilai berbasis AI.
- Proyek analisis kontrak pemasok di Air Canada melibatkan pemeriksaan klausul yang rumit dan membutuhkan presisi tinggi.
- Lima teknik pengujian dikembangkan, meliputi penggunaan riwayat keputusan, pembuatan kontrak berbasis aturan, modifikasi kontrak sah, pengujian variasi data, dan pemanfaatan templat kosong.
- Pengujian dengan memodifikasi klausul dari kontrak yang sudah ditandatangani terbukti menjadi pendekatan yang paling kuat.
- Tim menghindari penggunaan model bahasa besar sebagai penilai karena menimbulkan terlalu banyak kebisingan, dan lebih memilih verifikasi berbasis kode.
Kesimpulan dan Integrasi Pengujian ke dalam Siklus Pengembangan
Pengujian yang dihasilkan dari siklus otomatisasi tidak hanya berfungsi untuk mengukur performa, tetapi juga memperbarui strategi pengembangan agen secara keseluruhan. Proses penulisan kriteria pengujian di awal memastikan bahwa setiap perubahan pada agen dapat diukur secara objektif. Meskipun demikian, rangkaian pengujian ini bertindak sebagai fondasi pendukung bagi pengembang untuk terus meningkatkan kualitas sistem sebelum produk dirilis ke publik.
- Umpan balik dari pengujian digunakan untuk menghasilkan perangkat uji yang lebih baik dan menyempurnakan instruksi prompt.
- Penulisan jawaban atau pengujian di awal menjadi landasan utama sebelum membangun agen AI.
- Perangkat uji otomatis berfungsi sebagai alat bantu pendukung bagi pengembang dan bukan penentu tunggal kelayakan rilis produk.
설명
Nathanael Weill leads a team building AI agents at Air Canada, where tasks are so specific there's no public benchmark and domain experts have little time to grade results. His fix is to write the answer first: start from a known answer, generate the input from it, and check whether the agent finds its way back. He shows how that took a past RAG project from one expert-graded test a week to dozens of automated tests a day, then applies it to a supplier-contract review agent with five ways to build a test set: past decisions, planted rule violations, removed clauses, changes that shouldn't matter, and contract templates with filled-in blanks. He also explains why he avoids LLM judges whenever code can check the answer. Chapters: - 00:00 Intro - 00:47 No benchmark, no experts - 01:41 A lesson from a telecom RAG project - 04:43 Weekly expert reviews were too slow - 05:38 Flip it: write the answer first - 06:33 From one test a week to dozens a day - 07:30 Supplier contract review - 10:08 How the contract agent works - 10:39 Five ways to build a test set - 12:31 Planting rule violations - 13:39 Removing clauses - 14:42 Changes that shouldn't matter - 15:38 Templates with blanks - 16:39 Avoid LLM judges when code can check - 18:07 Use expert feedback to build better tests Nathanael Weill, Air Canada: https://www.aircanada.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!