Anthropic은 하루에 30,000개의 코드 변경 사항을 어떻게 병합할까? - Manish Kapur (Sonar) & Addy Osmani (Anthropic)

하이라이트

• 앤트로픽은 하루에 30,000개의 코드 변경 사항을 병합하고 있다.

• 조직의 85%가 이미 코딩 에이전트를 사용하고 있다.

• AI 코드를 생성하는 개발자의 76%는 코드가 너무 빠른 속도로 만들어져 사람이 일일이 검증하기 불가능하다고 답했다.

• 현재 5%의 기업이 소프트웨어 팩토리를 사용하고 있으며 이 수치는 금융 서비스 분야에서 39%에 이를 것이다.

• 코드 리뷰와 검증 루프가 제대로 작동할 때 결과물의 품질은 쉽게 2~3배로 높아질 수 있다.

타임라인

1. 00:00:00 - 03:50:00

   소프트웨어 팩토리와 개발 환경의 변화

   소프트웨어 개발 과정에서 에이전트의 활용도가 급증하면서 소프트웨어 팩토리 개념이 주목받고 있다. 조명이 켜진 공장 형태의 라이트 팩토리에서 출발하여, 최종적으로는 사람이 예외 상황에만 개입하고 완전 자율적으로 작동하는 다크 팩토리로 진화하는 과정에 있다. 코드 작성 자체는 이미 해결된 문제이며 현재 엔지니어링 리더들의 가장 큰 관심사는 확신을 가지고 더 빠르게 코드를 배포하는 것이다.

   • 써클CI의 분석에 따르면 CI 워크플로 처리량은 59% 급증했으나 프로덕션 병합 시도의 10개 중 3개는 여전히 실패한다.
   • 소프트웨어 팩토리는 사람이 취향과 판단력을 적용하는 라이트 팩토리와 시스템이 끊임없이 작업을 수행하는 다크 팩토리로 나뉜다.
   • 조직의 85%가 코딩 에이전트를 사용하고 있으며 이 수치는 곧 100%에 이를 것이다.
2. 03:50:00 - 08:20:00

   앤트로픽의 대규모 코드 병합과 검증 워크플로

   에이전트가 생성하는 코드가 너무 빨라 사람이 일일이 검증하기 불가능한 상황에서 앤트로픽은 철저한 자동화 검증 워크플로를 운영한다. 에이전트 스스로 작업 결과가 올바른지 검증할 수 있는 수단을 제공하고, UI 기능의 작동 여부를 브라우저나 비디오로 확인하여 신뢰를 쌓는다. 또한 팀들이 공유하는 모범 사례를 명문화하여 에이전트가 코드 리뷰 중에 참고하도록 만든다.

   • 앤트로픽은 하루에 3만 개의 코드 변경 사항을 병합하고 있다.
   • 클로드 코드가 일차 검토를 수행하며 브라우저 테스트, 린팅, 비디오 및 스크린샷 생성 등의 검증 증거를 제공한다.
   • 모든 코드 수정 시점에 자동으로 실행되는 훅이 변경 사항을 분석하고 피드백 루프를 구축한다.
3. 08:20:00 - 14:42:00

   다계층 검증과 거버넌스

   빠른 코드 생성 속도에 비해 검증 없는 프로덕션 반영 위험이 커지고 있다. 버그나 보안 문제를 잡는 결정론적 계층, 로직과 의도를 포착하는 에이전틱 리뷰, 공급망 보안을 검토하는 세 단계의 계층형 검증이 권장된다. 또한 수많은 에이전트가 시스템을 무분별하게 건드리지 않도록 통제하고 샌드박스를 관리하는 가이드레일 도입이 중요하다.

   • 응답자의 84%는 AI가 기능과 수정 사항을 더 빠르게 프로덕션에 반영한다고 답했으나 리뷰 없이 프로덕션에 도달하는 코드가 늘어났다.
   • 검증은 결정론적 계층, 에이전틱 리뷰, 소프트웨어 공급망 보안 계층 등 제로 트러스트 기반의 다계층으로 이루어져야 한다.
   • 에이전트가 샌드박스를 탈출해 범위를 이탈하는 행동을 방지하기 위한 가이드레일과 거버넌스가 필수적이다.
4. 14:42:00 - 18:45:00

   미래 전망과 핵심 요약

   향후 소프트웨어 개발 환경은 완전한 자율 공장으로 가기 전 과도기를 거치게 된다. 에이전트가 작성한 코드에 명시적인 표시를 남겨 책임 소재를 분명히 하고, 팩토리 내부의 각 루프마다 독립적인 자동화 검증 시스템을 구축하는 것이 강조된다. 맹목적인 배포가 아니라 철저한 검증을 거친 시스템만이 소프트웨어 팩토리의 신뢰성을 담보할 수 있다.

   • 2027년 말까지 완전히 다크 팩토리만 존재하기보다는 일부 다크 팩토리 구역이 포함된 라이트 팩토리가 주를 이룰 것이다.
   • 단기적으로는 에이전트가 작성한 코드라는 점을 PR에 표시하여 책임감과 감사 추적성을 유지해야 한다.
   • 코드 작성은 가장 빠른 부분이며 모든 팀을 위한 강력한 리뷰와 검증이 속도와 품질을 유지한다.