팀의 리뷰 속도보다 빠른 AI의 코드 작성 - 앤드루 노리시, 소스그래프

하이라이트

• 소스그래프는 세계에서 가장 규모가 크고 복잡한 코드베이스를 보유한 소유자들이 코드를 깊이 있게 이해할 수 있도록 코드서치와 코드그래프 제품을 제공한다.

• 에이전틱 코딩이 부상하면서 기업들이 구매한 AI 도구의 사용을 압박함에 따라, 개발 속도가 빨라지고 코드 리뷰가 새로운 병목 현상으로 대두되었다.

• 일부 조직에서는 에이전틱 코딩 덕분에 현재 병합되는 PR의 수가 거의 두 배에 달하며, 개발자들은 코드 리뷰에 거의 두 배에 가까운 시간을 소비하고 있다.

• 앤스로픽에 따르면 개발자들이 코드 작성을 AI에 의존하게 되면서 해당 코드에 대한 이해도 역시 떨어지고 있다.

• 5,000명이 넘는 개발자를 둔 한 고객사는 서비스 중단이나 에러율 급증 시 내부 근본 원인 분석 에이전트가 자동으로 실행되어 로그를 수집하고 결함의 근원을 연결하는 인시던트 대응 자동화를 구축했다.

타임라인

1. 00:00 - 02:24

   소스그래프와 에이전틱 코딩 환경의 변화

   소스그래프는 코드서치와 코드그래프를 통해 거대하고 복잡한 코드베이스를 지원해왔다. 최근 에이전틱 코딩이 대두되면서 코드 검색, 그래프, 내비게이션 도구들은 에이전트를 위한 코드 기반 컨텍스트 엔진으로 진화했다. 과거의 AI 로드맵 첫 질문은 인건비 절감이었으나 최근 자문위원회에서는 이러한 질문이 사라지고 새로운 양상이 나타나고 있다.

   • 소스그래프는 필드 엔지니어링을 통해 세계 최고의 대기업들이 코드베이스를 구축하고 관리할 수 있도록 돕는다.
   • 지난 1년 동안 인간 사용자뿐만 아니라 에이전트 지원을 구축하기 시작하여 에이전트가 핵심 고객이 되었다.
   • AI 주도 개발이 증가하면서 엔지니어링 팀은 에이전틱 도구에 의존하고 있으며, 이는 개발자 속도의 증가와 코드베이스 급증으로 이어진다.
2. 02:24 - 09:47

   코드 리뷰 병목 현상과 AI가 유발하는 인시던트

   개발 속도와 제품 출시 기대감 사이에서 개발자의 우선순위가 바뀌었다. AI 코드는 환각을 일으키거나 전체 코드베이스를 복제하지 못해 추측에 의존하는 경우가 많으며, 크로스 서비스 문제의 근본 원인을 추적하기 어렵다. 금융 기관과 같이 판돈이 큰 곳에서는 규제 준수 책임이 따르며, PR 개수와 크기가 늘어나면서 개발자들은 코드 리뷰에 더 많은 시간을 소비하고 있다. 또한 AI 코드에 대한 신뢰 부족과 품질·보안 저하로 인해 롤백, 핫픽스, 고객 영향 인시던트가 증가하고 있다.

   • 소프트웨어 개발 자체에 있던 병목 현상은 이제 AI가 작성한 코드를 사람이 얼마나 빨리 리뷰할 수 있는가로 이동했다.
   • AI가 더 많은 코드를 더 빠르게 작성함에 따라 PR 규모와 개수가 늘어났으며, 프로덕션 품질에 필요한 컨텍스트 없이 병합되는 경우가 많아졌다.
   • SRE들은 런북이 없고 사람이 본 적 없는 코드 속에서 더 많은 인시던트를 해결해야 하는 한계에 부딪히고 있다.
3. 09:47 - 15:00

   AI의 성공 영역과 SRE 및 플랫폼 팀의 역할

   AI가 모든 것을 완전히 자동화하지는 못하지만 컴플라이언스 요구사항이 충족되는 한정된 도메인에서는 성과를 내고 있다. SRE와 플랫폼 팀은 반자율적 영역에서 일해왔기에 AI로 인한 인시던트를 방지하고 생산성 이득을 얻을 수 있다. 소스그래프는 전체 코드베이스 색인화를 기반으로 며칠 걸리던 근본 원인 조사를 몇 분 만에 가능하게 하며, 위험한 코드 커밋을 경고하는 모니터링과 조직 전체 저장소에 대한 대량 수정 적용 기능을 지원한다.

   • AI는 전면적인 자동화보다는 취약점 수정, 보안 스캔, 대규모 마이그레이션 같은 잘 한정된 도메인에서 성공을 거두고 있다.
   • SRE와 플랫폼 팀은 AI 코딩의 신뢰성과 인시던트 수를 가늠하는 척도이자 AI 활용의 이점을 가장 크게 누릴 수 있는 팀이다.
   • 소스그래프는 SRE 워크플로의 핵심인 조사, 예방, 조치를 지원하는 결정론적 검색과 모니터링 및 대량 변경 기능을 제공한다.
4. 15:00 - 18:49

   고객 사례와 실제 적용 방안

   보안 트리아지 사례에서 보듯 에이전틱 검색 연동을 통해 실시간 판단력을 확보할 수 있다. 5,000명 이상의 개발자를 보유한 기업은 프로덕션 배포 브랜치를 확인하고 깃 히스토리를 대상으로 에이전틱 검색을 실행하여 인시던트 유발 커밋을 찾아내는 에이전트를 활용한다. 모노레포 환경에서 grep 명령어의 한계를 극복하고 즉시 브랜치를 검색하는 사례도 존재한다. AI 생성 코드로 인한 인시던트 대응과 컨텍스트 엔진이 필요한 팀들은 소스그래프를 통해 해결책을 찾을 수 있다.

   • 소스그래프 내부 보안 팀은 HackerOne 웹훅을 에이전틱 검색 기능과 연동하여 보안 리포트를 트리아지하고 있다.
   • 5,000명이 넘는 개발자를 둔 고객사는 서비스 중단 시 로그와 추적 데이터를 수집해 커밋과 작성자를 찾는 내부 근본 원인 분석 에이전트를 구축했다.
   • 다른 고객사는 읽기 전용 코드 파인더 에이전트를 사용하여 수백 가지 히스토리컬 브랜치를 즉시 검색하는 내부 코드 리뷰 에이전트를 유지 관리하고 있다.