초파리에게 내 코드 리뷰를 시켜봤습니다 - 닉 니시, WorkOS

하이라이트

• 초파리의 17만 6천 개 뉴런과 1억 2,500만 개 시냅스를 연결한 커넥톰을 활용해 자바스크립트 코드 리뷰를 수행했다.

• JEV 모델이 코드를 편향되지 않은 30가지 질문으로 분석하여 코드 스멜로 변환하고 초파리의 뇌에 냄새 형태로 전달한다.

• 좋은 코드는 설탕물 냄새와 보상 도파민을 유발하고, 나쁜 코드는 쓴 냄새와 처벌 도파민을 유발하여 시냅스 연결을 변화시킨다.

• 초파리 뇌 기반 코드 리뷰어는 테스트에서 약 88%의 확률로 정답을 맞혔으며, 일부 고난도 테스트에서는 96%에서 98%의 정확도를 기록했다.

• AI 에이전트와 자동화된 도구가 급증하는 현대 소프트웨어 개발에서 인간 리뷰어는 가장 큰 병목 현상으로 작용한다.

타임라인

1. 00:00 - 03:00

   소프트웨어 개발의 새로운 병목 현상과 코드 리뷰의 변화

   더 이상 인간이 직접 코드를 한 줄씩 작성하지 않는 시대가 도래하면서 코드 리뷰의 역할 역시 단순 승인을 넘어 맥락을 전달하는 방향으로 진화하고 있다. 훌륭한 CI와 린팅 도구, 그리고 분석 에이전트들이 이미 존재하지만, 여전히 최종 검토 단계에서 인간이 멈춰 서 있는 구조적 문제를 짚어본다.

   • 코드가 그 어느 때보다 빠르게 작성되고 풀 리퀘스트가 폭증하면서 인간 리뷰어가 개발 과정의 가장 큰 병목 현상이 되었다.
   • Greptile이나 CodeRabbit 같은 CI 에이전트의 발전으로 프로덕션 사고를 예방할 수 있게 되면서 전통적인 코드 리뷰의 목적이 변하고 있다.
   • 소프트웨어 버그라는 용어는 1947년 릴레이 장치 안에서 발견된 실제 나방에서 유래했다.
2. 03:00 - 08:15

   초파리 커넥톰을 이용한 자바스크립트 코드 리뷰 실험

   실제 초파리 뇌의 신경망 구조를 디지털 매트릭스로 구현하여 자바스크립트 코드 리뷰에 활용하는 파격적인 실험 과정을 설명한다. 파리는 코드가 무엇인지 알지 못하지만, AI가 변환한 냄새 자극과 기억을 바탕으로 좋은 코드와 나쁜 코드를 맛으로 구별하고 이에 따른 신경 반응을 도출한다.

   • 수컷 초파리 뇌의 17만 6천 개 뉴런과 630만 개의 연결, 1억 2,500만 개 시냅스를 스캔하여 커넥톰을 완성했다.
   • JEV 모델이 코드를 30가지 질문으로 검사해 코드 스멜로 변환한 뒤 파리의 신경망에 입력한다.
   • 좋은 코드와 나쁜 코드에 대한 기억과 도파민 보상 체계를 통해 파리가 혀를 내미는 반응으로 PR의 승인 여부를 나타낸다.
3. 08:15 - 16:31

   초파리 리뷰어의 성능과 인간 참여형 자동화 리뷰 체계

   관객들과 함께 진행한 라이브 테스트를 통해 초파리의 리뷰 능력을 검증하고, 초파리조차 일정 수준 해내는 코드 리뷰를 인간이 전면 담당하는 방식의 효율성을 고찰한다. 팀별 리뷰 스킬 관리와 자동화된 검증 단계를 결합한 새로운 에스컬레이션 파이프라인을 제안하며 발표를 마무리한다.

   • 초파리 기반 리뷰어는 무작위 테스트에서 평균 88%의 정답률을 기록했고, 고난도 테스트에서는 최대 98%까지 정확도를 보였다.
   • 효율적인 개발을 위해 모든 PR을 사람이 보는 대신 팀 리뷰 스킬과 가벼운 분류기, 자동화된 리뷰어의 단계를 거쳐 실패한 경우만 인간에게 에스컬레이션해야 한다.
   • 에이전트가 스크린샷, 비디오, 테스트 결과 등의 검증 증거를 남기면 인간은 비즈니스 로직 변경과 핵심 맥락에만 집중할 수 있다.