더 나은 AI 모델이 엔지니어링 팀의 문제를 해결해 주지는 않습니다 — 니콜라스 아르콜라노, 젤리피시

하이라이트

• 젤리피시의 447개 기업 약 5만 명 엔지니어 데이터 분석 결과, 모델이나 도구 변경이 PR 처리량 변화에 미치는 영향은 1% 미만이다.

• 엔지니어당 주당 스킬 사용 횟수를 30회 이상으로 늘리면 다른 조건을 동일하게 유지할 때 산출량이 30% 증가한다.

• 토큰 소비량은 PR 처리량을 늘리지만 한계 효용이 감소하는 포화 곡선 형태를 띠며, 상위 10%의 출력값은 중간값의 두 배이지만 토큰 비용은 10배 더 든다.

• 회사, 팀, 코드베이스, 문화 등의 환경적 요인은 소비량을 고정한 상태에서도 상위 10%와 하위 10% 기업 간에 2배의 성과 격차를 만든다.

• 개인 엔지니어의 고유 특성은 생산성 변동성의 가장 큰 비중을 차지하며, 하위 10%와 상위 10% 엔지니어 간에는 3.5배의 격차가 발생한다.

• AI 도입 이후 상위 사분위수 엔지니어의 41%만이 반기마다 순위가 변동하여, AI가 기존의 기술적 숙련도와 장인 정신 중심의 순위를 크게 뒤엎지 않았다.

타임라인

1. 00:00 - 05:43

   모델 변경과 엔지니어 생산성의 상관관계 분석

   더 좋은 도구나 모델을 도입하면 문제가 해결될 것이라는 기대와 달리, 실제 사용량을 추적한 데이터는 모델 변경이 생산성 향상으로 직결되지 않음을 보여준다. 대규모 데이터셋을 통한 통계 분석은 엔지니어링 성과를 결정하는 실질적인 레버가 무엇인지 추적하는 기반이 된다.

   • 스페이스X의 커서 Grok 도입 사례에서 모델 변경이 엔지니어당 병합된 PR 처리량에 아무런 통계적 변화를 주지 않았다.
   • 젤리피시는 447개 기업의 약 5만 명 엔지니어 데이터를 바탕으로 도구, 스킬, 사용량, 환경, 개인 요소를 분석했다.
2. 05:43 - 08:20

   생산성을 좌우하는 다섯 가지 요인과 도구의 영향력

   전체 생산성 변동을 설명하는 통계 모델을 구축하면 모델 자체의 영향력은 미미한 반면, 개발자의 숙련도, 리소스 소비량, 조직 문화, 그리고 개인의 역량이 훨씬 지배적인 역할을 한다는 사실이 드러난다.

   • PR 처리량 변화에서 도구 자체가 설명하는 비율은 1% 미만에 불과하다.
   • 스킬 활용은 3%, 토큰 소비량은 9%, 일하는 장소와 회사는 12%, 개인 엔지니어의 특성은 가장 큰 비중을 차지한다.
3. 08:20 - 11:15

   스킬 활용과 토큰 소비량이 미치는 영향

   스킬을 제대로 활용하는 빈도가 높을수록 산출량은 크게 증가하지만, 현업에서 스킬을 적극적으로 쓰는 비율은 여전히 낮다. 또한 토큰을 무작정 늘리는 방식은 로켓 방정식처럼 비용 대비 효율이 빠르게 떨어지므로 한계 효용을 고려해야 한다.

   • 엔지니어의 절반 가까운 주간 근무에서 AI 스킬 사용이 전혀 없었으며, 모범적인 수준의 스킬 활용은 12%에 그쳤다.
   • 주당 스킬 사용을 30회 이상으로 높이면 다른 조건이 같을 때 산출량이 30% 증가한다.
   • 토큰 소비량이 많아질수록 PR 처리량이 늘어나지만 한계 효용이 급격히 감소하는 포화 곡선을 나타낸다.
4. 11:15 - 16:31

   회사 환경과 개인 역량이 만드는 성과 격차

   조직의 리더는 팀과 회사의 환경을 개선하여 성과를 끌어올릴 수 있다. AI가 모든 것을 평평하게 만든다는 통념과 달리 기존의 기술적 숙련도와 개인 역량은 여전히 성과의 가장 큰 결정 요인으로 작용한다.

   • 동일한 토큰 소비량을 쓸 때도 상위 10% 회사와 하위 10% 회사는 코드베이스와 문화 차이로 인해 2배의 성과 격차를 보인다.
   • 개인 엔지니어 간에는 하위 10%와 상위 10% 사이에 3.5배의 격차가 난다.
   • AI 도입 전후로 최고 엔지니어들의 순위는 크게 바뀌지 않았으며, 기존의 뛰어난 엔지니어가 여전히 높은 성과를 낸다.