앤스로픽은 이제 클로드의 코드를 거의 읽지 않습니다

하이라이트

• 앤스로픽은 메인 모노레포에서 5월 하루 2,500건이던 변경 건수가 9월에 30,000건을 넘어섰다.

• 6월부터 9월 사이 머지된 PR은 두 배 이상 늘어난 반면, 되돌려진 PR의 비율은 40% 감소했다.

• 에이전트 작성자와 에이전트 리뷰어가 반복 작업을 거치며 일부 PR은 하룻밤 사이에 50라운드가 넘는 리뷰를 겪기도 했다.

• 현재 3라운드가 지나면 리뷰어가 작성자에게 접근 방식을 재고하라고 지시하며, 1라운드 만에 통과하는 PR 비율은 65%에서 78%로 증가했다.

• 리뷰 한 건당 평균 15달러에서 25달러 정도의 비용이 소요된다.

타임라인

1. 00:00 - 01:21

   코드 리뷰 자동화의 배경과 성과

   코드 생성량이 급증하면서 모든 코드를 인간이 직접 읽고 검증하는 방식은 현실성이 사라졌다. 이에 따라 변경 사항으로 인해 발생할 수 있는 문제와 이를 잡기 위한 최적의 검증 수단을 찾는 방향으로 검토 과정이 전환되었다. 인간의 리뷰가 줄어들더라도 프로덕션에서 문제가 증가하지 않도록 변경 취소 빈도와 프로덕션 오류를 지속해서 추적한다.

   • 클로드 코드는 자체 코드의 약 90%를 스스로 작성한다.
   • 6월부터 9월 사이 머지된 PR은 두 배 이상 증가했고 되돌려진 PR의 비율은 40% 줄어들었다.
   • 5월 하루 2,500건이던 메인 모노레포 변경은 9월에 30,000건을 돌파했다.
2. 01:21 - 04:07

   다중 계층 코드 리뷰 흐름

   코드 리뷰 구조는 여러 계층의 필터를 거치는 스위스 치즈 모델을 따른다. PR 생성 전 에이전트 검토를 거치고, 동일한 실수가 반복되면 린트 규칙이나 claude.md 및 review.md에 반영하여 예방한다. 이후 보안 리뷰와 일반적인 CI 검사를 거친 뒤 변경 사항의 위험도에 따라 분류기 에이전트가 인간 승인 인원을 결정한다.

   • 첫 번째 계층은 엔지니어 자신의 클로드 세션에서 테스트 실행과 서브 에이전트의 diff 검토로 이루어진다.
   • 보안 리뷰 단계에서 발견된 사항이 있는 동안에는 PR을 머지할 수 없다.
   • 저위험 변경은 인간의 승인이 전혀 필요하지 않으며, 중위험은 한 명, 가장 위험한 코드는 두 명의 인간 승인이 필요하다.
3. 04:07 - 05:59

   리뷰어 평가와 라운드 제한

   리뷰어의 성능을 유지하기 위해 실제 버그 데이터를 바탕으로 점수를 매기고 프롬프트나 모델을 개선한다. 다만 에이전트끼리 반복해서 사소한 지적을 주고받는 무한 루프 문제가 발생함에 따라, 3라운드 제한을 도입하여 새로운 변경 사항만 확인하고 버그 유형을 한 번에 플래그로 지정하도록 수정했다. 이로 인해 1라운드 만에 통과하는 PR 비율이 크게 증가했다.

   • 사고를 유발한 PR을 평가 항목으로 전환하여 리뷰어가 실제 버그를 잡아내는지 매일 테스트한다.
   • 에이전트 작성자와 에이전트 리뷰어가 반복 루프에 갇혀 하룻밤 사이에 50라운드가 넘는 리뷰를 거치기도 했다.
   • 현재는 3라운드가 지나면 리뷰어가 접근 방식을 재고하도록 지시한다.
4. 05:59 - 07:43

   인간의 역할과 도입 시사점

   기계가 대부분의 반복 작업을 수행하는 동안 인간은 결제 같은 위험한 코드를 검토하고 결과에 대한 책임을 진다. 변경 사항을 작게 유지하고 플래그와 롤백을 활용하여 문제를 빠르게 해결한다. 앤스로픽의 막대한 자금력과 토큰 예산이 뒷받침된 방식이지만, 간결한 설정 파일 관리와 리뷰 라운드 제한 같은 요소들은 다른 환경에서도 충분히 적용할 가치가 있다.

   • 인간은 애초에 무언가를 구축해야 할지 결정하고, 위험한 코드를 검토하며, 결과에 책임을 지는 역할을 담당한다.
   • 작거나 중간 규모의 변경에서 문제가 발생하면 직접 수정해야 하는 책임 원칙이 적용된다.
   • 리뷰 한 건당 15달러에서 25달러가 소요되므로 비용 부담이 존재한다.