Cara Anthropic Menggabungkan 30.000 Perubahan Kode dalam Sehari - Manish Kapur, Sonar & Addy Osmani, Anthropic

하이라이트

• Anthropic meningkatkan skala penggabungan kode dari 2.500 perubahan menjadi 30.000 perubahan kode setiap harinya.

• CircleCI menganalisis 28 juta alur kerja CI dan menemukan bahwa throughput melonjak 59 persen sementara tiga dari sepuluh upaya penggabungan kode ke produksi mengalami kegagalan.

• Sebanyak 85 persen organisasi saat ini sudah menggunakan agen koding.

• Sebanyak 76 persen pengembang yang menghasilkan kode AI melaporkan bahwa kode tersebut dihasilkan dengan kecepatan yang membuat mereka kesulitan untuk memverifikasinya secara manual.

• Survei Sonar menunjukkan bahwa 5 persen perusahaan saat ini menggunakan pabrik perangkat lunak otonom, dan angka tersebut diproyeksikan naik menjadi 34 persen secara keseluruhan serta 39 persen pada sektor layanan keuangan.

타임라인

1. 00:00 - 05:37

   Kesenjangan Antara Pembuatan Kode Cepat dan Kegagalan Produksi

   Sesi ini dibuka dengan pembahasan mengenai peralihan industri perangkat lunak menuju otomatisasi penuh dan tantangan baru yang muncul akibat volume kode yang sangat tinggi. Statistik dari CircleCI memperlihatkan bahwa peningkatan kecepatan pengiriman kode berbanding lurus dengan tingginya risiko kegagalan saat memasuki tahap produksi. Pabrik perangkat lunak dibagi menjadi dua jenis utama, yaitu pabrik terang yang masih melibatkan penilaian manusia secara aktif di setiap siklus dan pabrik gelap yang beroperasi secara otonom menyerupai pabrik manufaktur robotik.

   • Koding AI telah menjadi masalah yang terselesaikan dengan adopsi agen koding mencapai 85 persen di berbagai organisasi.
   • Throughput alur kerja CI melonjak sebesar 59 persen, tetapi tingkat kegagalan penggabungan kode ke produksi mencapai tiga dari sepuluh upaya.
   • Sebagian besar pengembang menghabiskan lebih banyak waktu untuk meninjau kode yang dihasilkan oleh AI karena kecepatan pembuatannya melampaui kemampuan verifikasi manual.
2. 05:37 - 11:40

   Proses Penggabungan 30.000 Perubahan Kode di Anthropic

   Anthropic mengandalkan otomatisasi menyeluruh untuk meninjau dan menggabungkan puluhan ribu perubahan kode setiap hari. Setiap kode yang dihasilkan oleh agen harus melalui serangkaian pengujian otonom, termasuk pembuatan video atau tangkapan layar interaksi browser guna membuktikan fungsionalitasnya. Praktik terbaik dan standar kualitas tim dikodifikasikan ke dalam dokumen khusus seperti CLAUDE.md agar agen dapat berkonsultasi langsung selama proses peninjauan kode berlangsung.

   • Anthropic melompat dari kapasitas penggabungan 2.500 perubahan kode per hari menjadi 30.000 perubahan kode setiap harinya.
   • Claude dimanfaatkan untuk melakukan peninjauan putaran pertama dengan menguji pengalaman pengguna secara nyata di browser serta menjalankan alat linting.
   • Kail otomatis pada setiap pengeditan kode memungkinkan perbaikan pull request dilakukan secepat mungkin dalam sebuah perulangan.
3. 11:40 - 18:45

   Verifikasi Berlapis dan Pengendalian Keamanan Agen

   Verifikasi keluaran dari pabrik perangkat lunak harus dilakukan secara berlapis di setiap siklus pengembangan. Lapisan pertama mendeteksi masalah keamanan deterministik seperti SQL injection, lapisan kedua menangani logika dan maksud melalui peninjauan agen, sedangkan lapisan ketiga memindai kerentanan rantai pasok dan paket berbahaya. Penggunaan rel pemandu atau guide rails menjadi instrumen penting untuk memastikan agen tetap berada di dalam batasan sandbox yang aman sebelum perubahan kode diizinkan masuk ke tahap produksi.

   • Pendekatan verifikasi zero trust multi-lapis diterapkan untuk mendeteksi bug deterministik, masalah logika agen, hingga kerentanan rantai pasok perangkat lunak.
   • Perusahaan menghadapi tantangan terkait izin, identitas agen, dan kebutuhan sandbox yang ketat untuk mencegah agen bertindak di luar batas.
   • Penggunaan label pada pull request yang ditulis oleh agen membantu menjaga akuntabilitas serta memudahkan proses audit, terutama dalam industri keuangan yang diatur ketat.