Cara Membangun Agen Code Review AI - Daksh Gupta, Greptile

하이라이트

• Sekitar 1% dari seluruh pull request di GitHub diproses dan ditinjau oleh platform Greptile.

• Biaya peninjauan pull request menggunakan agen pemrograman standar berkisar antara $3 hingga $25 per permintaan.

• Hanya sekitar 1 dari setiap 1.000 pull request atau baris kode yang mengandung bug fatal.

• Penggunaan model AI yang sama untuk menulis dan meninjau kode menurunkan tingkat tangkapan bug karena model gagal dengan pola yang serupa.

• Pertukaran model peninjau meningkatkan tingkat deteksi bug sebesar 10% pada sistem validasi kode.

타임라인

1. 00:00:13 - 03:04:40

   Pengantar dan Alasan Membangun Agen Sendiri

   Perusahaan rintisan Greptile menyediakan layanan peninjauan kode dan pengujian berbasis konteks basis kode penuh. Sebagian perusahaan dengan kebutuhan esoterik memilih membangun sistem mandiri, sementara pengembang memanfaatkan webhook GitHub untuk menghubungkan agen ke dalam kotak pasir berisi dependensi lengkap.

   • Greptile menangani ribuan perusahaan dan 1% pull request di GitHub untuk menemukan bug dan masalah kualitas kode.
   • Perusahaan dengan kebutuhan khusus dan esoterik didorong untuk membangun agen peninjau sendiri.
   • Sandbox terisolasi dan kerangka kerja open source seperti OpenCode atau Pi digunakan sebagai fondasi awal.
2. 03:04:41 - 06:02:00

   Kendala Utama dalam Penggunaan Agen Peninjau

   Implementasi dasar agen peninjau menimbulkan berbagai masalah operasional seperti hilangnya konteks repositori mikroservis yang terpecah dan pembengkakan biaya token. Komentar yang terlalu kaku sering kali diselesaikan secara serampangan oleh agen pengodean, menghasilkan kode defensif yang tidak diinginkan.

   • Sistem peninjauan awal sering melewatkan bug karena kompleksitas kode yang tak terbatas secara fraktal.
   • Biaya operasional membengkak hingga $25 per pull request akibat akumulasi token.
   • Komentar yang terlalu detail dan kaku merusak basis kode ketika diselesaikan secara otomatis oleh agen pemrograman.
3. 06:02:00 - 09:03:00

   Optimasi Prompt dan Pemanfaatan Data Historis

   Penyetelan prompt dilakukan berdasarkan analisis data internal dari gangguan masa lalu untuk memfokuskan deteksi pada bug berisiko tinggi. Kumpulan data historis membantu mengukur tingkat keberhasilan agen dalam mendeteksi kesalahan sebelum dirilis ke lingkungan produksi.

   • Prompt dioptimalkan secara spesifik untuk mencari pola bug masa lalu dan mengabaikan detail kecil yang remeh.
   • Kumpulan data pull request historis dan insiden masa lalu digunakan untuk menguji keandalan agen.
   • Topologi bug berubah seiring waktu seiring peningkatan kemampuan agen pembuat kode.
4. 09:03:00 - 14:26:00

   Inversi Model dan Konteks Basis Kode

   Model AI yang sama cenderung gagal dengan pola yang serupa saat menulis dan meninjau kode, sehingga pertukaran model wajib dilakukan. Pengindeksan basis pengetahuan menyeluruh dan integrasi tiket Confluence atau Linear memberikan konteks mendalam yang mencegah pembacaan file berlebihan.

   • Inversi model diterapkan dengan menggunakan model GPT untuk meninjau kode buatan Claude dan sebaliknya.
   • Model Claude menghasilkan kesalahan sekali pakai tiga kali lebih sering dibandingkan model GPT.
   • Wiki internal yang terus diperbarui menggantikan pencarian grep yang tidak akurat dan boros token.
5. 14:26:00 - 18:19:00

   Pengujian Otonom dan Alokasi Anggaran Inferensi

   Pengujian otonom memanfaatkan mesin virtual terkonfigurasi untuk mendeteksi masalah visual antarmuka pengguna. Penggunaan model berukuran kecil untuk tugas berulang dipadukan dengan model frontier berbiaya tinggi menekan anggaran inferensi secara drastis.

   • Fitur penggunaan komputer dalam kotak pasir memvalidasi antarmuka pengguna secara end-to-end.
   • Model kecil dan murah digunakan untuk tugas eksplorasi serta pencarian konteks.
   • Model frontier dialokasikan khusus untuk analisis bug mendalam dan proses pengiriman.