Model AI yang Lebih Baik Tidak Akan Memperbaiki Tim Engineering Anda — Nicholas Arcolano, Jellyfish

하이라이트

• Pilihan model AI dasar hanya menyumbang kurang dari 1% dari variasi throughput pull request (PR) para insinyur.

• Perusahaan di persentil 10 teratas menghasilkan output dua kali lipat dibandingkan perusahaan di persentil 10 terbawah terlepas dari konsumsi token.

• Individu insinyur itu sendiri memegang porsi terbesar yaitu tiga perempat dari faktor penjelas dalam model statistik produktivitas.

• Penggunaan skill secara masif menghasilkan peningkatan throughput PR sebesar 30% dengan faktor lain dijaga tetap konstan.

• Insinyur terbaik sebelum era AI tetap menduduki peringkat teratas setelah adopsi AI tanpa adanya perombakan peringkat yang drastis.

타임라인

1. 00:00 - 03:49

   Analogi Stik Golf dan Kemajuan Model AI

   Perbandingan antara pemilihan stik golf dan pemilihan model AI menggambarkan anggapan umum bahwa peralatan yang lebih baik otomatis menyelesaikan masalah. Analisis data dari ratusan ribu pengembang di 1.300 perusahaan menunjukkan bahwa peralihan mendadak ke model baru seperti Grok tidak serta-merta mengubah keluaran kerja secara signifikan, sehingga memicu penelusuran faktor lain yang benar-benar memengaruhi produktivitas.

   • Rata-rata jarak pukul PGA Tour naik sekitar 20% sejak tahun 1980 akibat peningkatan teknologi stik golf.
   • Model AI dasar mengalami peningkatan kemampuan secara stabil dari waktu ke waktu mirip dengan evolusi peralatan olahraga.
   • Lonjakan penggunaan Grok menyusul integrasi Cursor tidak berkorelasi secara statistik dengan perubahan keluaran PR per insinyur.
2. 03:49 - 07:10

   Faktor-Faktor Penentu Produktivitas Teknik

   Analisis statistik menggunakan data dari 50.000 insinyur di 447 perusahaan memetakan berbagai tuas produktivitas ke dalam persentase terukur. Alat dan model berada di urutan terbawah dalam hal pengaruh langsung terhadap throughput, sementara lingkungan kerja dan kemampuan personal mendominasi hasil akhir secara keseluruhan.

   • Pemilihan alat menyumbang kurang dari 1% dari variasi throughput PR.
   • Keterampilan atau penggunaan framework khusus menyumbang sekitar 3% dari variasi.
   • Faktor tempat bekerja dan karakteristik individu insinyur memegang porsi terbesar dalam variasi produktivitas.
3. 07:10 - 11:14

   Dampak Penggunaan Skill dan Konsumsi Token

   Meskipun skill terbukti meningkatkan hasil kerja secara signifikan, adopsi di dunia nyata masih sangat rendah di luar kalangan penasihat khusus. Di sisi lain, volume konsumsi token dan hari penggunaan aktif menunjukkan kurva penjenuhan di mana peningkatan jumlah token berbanding lurus dengan peningkatan output hingga batas tertentu.

   • Hampir setengah dari minggu kerja teknik mencatat nol penggunaan skill khusus.
   • Penggunaan skill sebanyak 30 kali atau lebih per minggu meningkatkan throughput PR sebesar 30%.
   • Kelompok 10% teratas dalam konsumsi token melipatgandakan output dibandingkan tingkat median.
4. 11:14 - 16:31

   Pengaruh Lingkungan Perusahaan dan Karakteristik Individu

   Budaya perusahaan, basis kode, dan proses peninjauan menyumbang variasi besar yang dapat dikendalikan langsung oleh para pemimpin tim. Selain itu, karakteristik unik dari setiap individu insinyur mendominasi faktor penjelas produktivitas, membuktikan bahwa AI tidak meratakan kemampuan dasar pengembang secara instan.

   • Terdapat selisih produktivitas 2x lipat antara perusahaan di 10% teratas dan 10% terbawah dengan konsumsi token yang sama.
   • Perbedaan produktivitas antar individu insinyur mencapai selisih 3,5x lipat.
   • Sebagian besar insinyur terbaik sebelum era AI tetap mempertahankan posisi mereka di kuartil teratas.