AI 코드 리뷰 에이전트 구축 방법 - 닥스 굽타, Greptile

하이라이트

• 렙타일(Greptile)은 GitHub 전체 풀 리퀘스트의 약 1%를 검토하며, NVIDIA의 CUDA 코드베이스와 Coinbase의 월렛 코드베이스 등 다양한 환경에서 사용된다.

• AI 코딩 에이전트 도입에 따른 리뷰 병목 현상을 해결하기 위해 샌드박스 환경과 하네스를 연동하여 풀 리퀘스트를 자동으로 검토하는 시스템을 구축할 수 있다.

• 코드 리뷰 에이전트를 처음 구축할 때 발생하는 주요 문제는 치명적인 버그 누락, 불완전한 코드베이스 이해, 높은 토큰 비용, 그리고 지나치게 사소한 깐깐한 코멘트 발생이다.

• 치명적인 버그는 1,000개의 풀 리퀘스트 중 약 1개꼴로 매우 드물게 발생하므로 과거 장애 데이터셋을 활용한 지속적인 검증이 필요하다.

• 코드를 작성한 모델과 동일한 모델을 리뷰에 사용하면 실패 패턴이 같아 버그 포착률이 떨어지므로, 서로 다른 모델을 조합하는 모델 반전(Model Inversion)을 적용하면 포착률을 10% 더 높일 수 있다.

• 프런티어 모델과 경량 소형 모델을 작업별로 적절히 배분하여 하위 작업을 처리하면 토큰 비용을 대폭 절감할 수 있다.

타임라인

1. 00:00 - 02:35

   AI 코드 리뷰 에이전트의 개요와 구축 배경

   코드베이스의 규모가 커지고 다양한 직군에서 코드를 작성함에 따라 코드 검토와 테스트 과정에서 심각한 병목 현상이 발생한다. 이에 대응하기 위해 샌드박스 환경과 코덱스, 클로드 코드 같은 에이전트를 연동하여 자동화된 리뷰 체계를 마련하는 것이 첫 단계이다. 특수한 니즈를 가진 기업의 경우 자체 도구를 구축하는 법을 배우는 것이 유용하다.

   • 렙타일은 코드베이스 전체 컨텍스트를 파악해 풀 리퀘스트를 검토하고 테스트하는 에이전트를 제공한다.
   • GitHub 전체 풀 리퀘스트의 약 1%가 렙타일을 거쳐 가며 NVIDIA와 Coinbase 등의 코드베이스를 다룬다.
   • 엔지니어와 마케팅 부서까지 코드를 작성하는 바이브 코딩 시대에는 리뷰와 검증 병목 현상이 새로운 문제로 대두된다.
2. 02:35 - 06:01

   리뷰 에이전트 구축 초기 직면하는 문제점들

   샌드박스와 기본 에이전트를 연결해 풀 리퀘스트 리뷰를 자동화하면 처음에는 작동하는 것처럼 보이지만 여러 한계에 부딪힌다. 버그는 프랙탈처럼 무한히 존재하며, 풀 리퀘스트당 3달러에서 25달러에 달하는 토큰 비용이 빠르게 불어난다. 또한 기술적으로는 맞지만 사소한 지적들이 반복되거나 코딩 에이전트가 이를 잘못 수용하여 코드베이스를 망가뜨리는 부작용이 나타난다.

   • 단순히 프롬프트만으로 에이전트를 운영하면 수많은 버그를 놓치고 토큰 비용이 급증한다.
   • 지나치게 사소한 깐깐한 코멘트가 대량으로 발생해 개발자들에게 피로감을 준다.
   • 코딩 에이전트가 리뷰 코멘트를 무분별하게 전부 처리하려고 들면서 방어적이고 망가진 코드가 만들어진다.
3. 06:01 - 09:02

   프롬프트 최적화와 과거 PR 데이터셋 활용

   프롬프트를 개선할 때는 사내 데이터 기반의 과거 장애 카탈로그를 활용하여 특정 버그 유형을 정확히 탐지하도록 유도해야 한다. 그러나 버그 자체가 워낙 드물게 발생하기 때문에 에이전트가 치명적인 문제를 놓치고 있더라도 오랫동안 알아차리기 어렵다. 따라서 방대한 과거 PR 데이터셋을 구축하고 이에 대입해 성능을 검증하는 과정이 필수적이다.

   • 프롬프트에 구체적인 버그 유형을 지정하고 꼬투리 잡기식 코멘트는 제외하도록 지시해야 한다.
   • 치명적인 버그는 1,000개의 풀 리퀘스트 중 1개꼴로 발생할 만큼 매우 드물다.
   • 과거 장애와 사고를 유발했던 풀 리퀘스트 데이터셋을 기반으로 에이전트 버전을 테스트해야 신뢰성을 확보할 수 있다.
4. 09:02 - 14:26

   모델 반전과 코드베이스 컨텍스트 고도화

   동일한 모델이 코드를 작성하고 리뷰까지 맡으면 동일한 허점을 공유하기 때문에 버그를 잘 잡아내지 못한다. 작성 모델과 다른 프런티어 모델을 매칭하는 모델 반전 기법을 도입하면 포착률을 유의미하게 높일 수 있다. 또한 방대한 코드베이스에서 단순 GREP 방식에 의존하기보다 사내 문서, 티켓, 구조화된 지식 베이스를 연동하여 에이전트가 불필요한 파일을 읽지 않도록 정밀도를 높여야 한다.

   • 코드를 작성한 모델과 리뷰에 사용하는 모델이 같으면 실패 패턴이 동일해 버그 포착률이 떨어진다.
   • 클라우드 모델과 GPT 모델을 상호 교차하여 리뷰에 사용하는 모델 반전을 적용하면 포착률이 10% 향상된다.
   • GREP 기반 방식은 부정확하고 과도한 토큰을 소모하므로 지식 베이스와 위키를 통한 정밀한 컨텍스트 제공이 필요하다.
5. 14:26 - 18:19

   자율 테스트 및 추론 비용 최적화 전략

   UI 변경 사항 등 육안으로 확인이 필요한 요소는 컴퓨터 유즈와 가상 머신 기반의 샌드박스를 통해 종단간 테스트를 수행한다. 이 과정에서 발생하는 높은 비용 문제를 해결하기 위해, 탐색적 파일 읽기 같은 단순 작업에는 저렴한 소형 모델을 할당하고 핵심 버그 분석에는 프런티어 모델을 배치하는 혼합 모델 전략을 사용한다. 대규모 데이터셋을 바탕으로 작업별 모델 조합을 지속해서 검증해야 비용과 성능의 균형을 유지할 수 있다.

   • 의존성이 풍부한 샌드박스와 컴퓨터 유즈 기능을 결합하면 UI 렌더링 오류까지 감지하는 엔드투엔드 자율 테스트가 가능하다.
   • 프런티어 모델과 경량 소형 모델을 하위 작업별로 세분화하여 배치하면 추론 비용을 대폭 줄일 수 있다.
   • 20가지가 넘는 하위 작업 각각에 최적화된 모델 세트를 지정하고 반복 개선해야 한다.