앤스로픽, 클로드 코드 활용을 위한 새로운 시스템 출시

원제 · Anthropic Just Released A New System For Using Claude Code

15:592분 읽기AI LABS2026. 10. 30.컴퓨터/소프트웨어 · 경영/리더십

핵심 요약

AI 코딩 에이전트가 작성한 코드를 안전하고 빠르게 배포하려면 명확한 평가 기준 설정, 독립된 검토자 에이전트를 통한 루프 제어, 그리고 신규 사용자 관점의 테스트 워크플로우가 필수적이다.

하이라이트

  • 앤스로픽 클로드 코드 팀은 심층 검증 프로세스를 도입한 후 이전보다 두 배 이상 많은 코드 변경 사항을 배포했으며 롤백 비율은 40% 이상 감소했다.

  • Anthropic 전체의 일일 코드 변경 검토 건수는 불과 4개월 만에 2,500개에서 30,000개 이상으로 급증했다.

  • 에이전트가 코드를 작성하는 동안 기능의 요구사항이 담긴 평가 기준 파일을 바탕으로 작업 완료 여부를 엄격하게 검증한다.

  • 구축자와 검토자 에이전트 간의 무한 루프와 토큰 낭비를 막기 위해 3라운드 제한 규칙 및 중복 보고 방지 규칙을 적용한다.

  • 코드를 전혀 보지 못한 신규 사용자 시뮬레이션 에이전트를 투입해 실제 라이브 앱에서 막히는 지점을 찾아낸다.

타임라인

  1. AI 코딩 에이전트 검토의 중요성과 문제점

    AI 에이전트의 성능이 향상되면서 혼자서도 많은 기능을 빠르게 구현할 수 있게 되었지만, 이로 인해 검토해야 할 양도 폭발적으로 증가했다. 확인 과정을 거치지 않은 에이전트의 실수는 결국 실제 사용자에게 큰 문제로 이어지므로, 에이전트가 작업을 제대로 마쳤는지 엄격하게 확인하는 검증 프로세스가 반드시 필요하다.

    • 에이전트가 코드를 작성한 뒤 작업을 완료했다고 선언해도 실제 요청 사항을 누락하는 경우가 많다.
    • Anthropic 전체의 일일 코드 변경 검토 건수는 4개월 만에 2,500개에서 30,000개 이상으로 급증했다.
    • 검토 과정을 소홀히 하면 결국 나중에 버그를 수정하는 데 더 많은 시간을 낭비하게 된다.

  2. 심층 검증과 평가 기준(Eval) 활용

    에이전트에게 말로만 작업 완료를 듣는 대신, 작동함을 증명할 수 있는 구체적인 테스트 목록을 제공한다. 기능별 요구사항 문서를 바탕으로 평가 파일을 만들고, 이를 통과해야만 작업을 완료로 인정하는 훅을 설정하여 에이전트의 신뢰성을 높인다.

    • 작업이 완료되었음을 증명할 수 있는 고정된 테스트인 평가 기준(eval)을 설정해야 한다.
    • 기능의 요구사항을 담은 문서를 기반으로 eval.md 파일을 생성해 검토 도구로 활용한다.
    • 디자인이 포함된 경우 곧바로 코드를 작성하기 전에 간단한 목업 웹페이지를 만들어 기준으로 삼는다.

  3. 독립된 검토자 에이전트와 검토 루프 구축

    코드를 직접 만든 에이전트는 자신의 결정에 동의하기 쉽기 때문에 별도의 검토자 에이전트를 투입하여 문제를 잡아낸다. 오케스트레이터 에이전트의 관리 아래 빌더와 검토자가 루프를 돌며 코드를 다듬고, 프로젝트 내 지시사항 파일을 통해 발견된 실수를 다음 작업에 반영한다.

    • 코드를 작성한 에이전트와는 별개의 독립된 검토자 에이전트를 사용하여 객관적으로 변경 사항을 살핀다.
    • 빌더, 검증기, 검토자로 이어지는 하위 에이전트 루프를 통해 모든 평가를 통과할 때까지 반복 작업을 수행한다.
    • review.md 파일을 통해 앱의 실패 기준과 금지 사항을 정의하고 동일한 실수가 반복되지 않도록 규칙을 학습시킨다.

  4. 에이전트 루프 최적화와 신규 사용자 테스트

    에이전트들이 문제를 찾고 고치는 과정에서 예전 문제를 반복해서 지적하며 토큰을 낭비하는 현상을 막기 위해 3라운드 이후 구현 방식을 재고하도록 제한을 둔다. 또한 개발자 본인이 놓치는 사용성 허점을 잡기 위해 코드 접근이 차단된 신규 사용자 에이전트로 라이브 앱을 테스트하며, 문제가 생기면 Git을 통해 즉각 롤백한다.

    • 3라운드 제한 규칙을 두어 무한 왕복과 불필요한 토큰 소모를 방지한다.
    • 앱의 코드를 전혀 읽지 못한 상태의 신규 사용자 시뮬레이션 에이전트를 투입해 사용성 문제를 찾는다.
    • Git 브랜치를 활용하여 문제가 발생한 기능을 안전하고 빠르게 이전 버전으로 되돌린다.

설명

Claude Code says the task is done, but is it? Here's how to use Claude Code the way Anthropic's Claude Code team checks its work: a Claude Code setup with Claude Code skills, hooks and a review loop that make Claude AI prove each feature works, plus Claude Code tips for what still slips through. Try Unstoppable at app.unstoppable.ai/code?utm_source=ai_labs to run Claude Code, Codex, and Cursor side by side, with 25 free AI credits every day. Community with All Resources: https://ailabspro.io/?v=S49gppZl8H0 The Roundup, our daily newsletter covering the AI stories that matter. Join now: https://www.theroundup.so/ Got a software idea but don't have the team to build it? Autometa turns your ideas into production-ready software. Check out https://autometa.dev/yt to see what we can build for you. Article link: https://claude.dev/blog/solving-code-review-at-anthropic/ AI agents write a lot of code, call the task done, and miss things you asked for. Anthropic's Claude Code team shared how they check their agents' work: more than twice as many changes, and the share they had to undo dropped by over 40%. We turned it into a workflow you can follow. The workflow - Make Claude prove it's done: the write-evals skill turns each feature into evals and a design mockup, and hooks block building until you've reviewed them. - A separate reviewer: the full review agent is Team and Enterprise only. The free Claude Code option is the built-in code review command. - How to set up Claude Code to follow your review rules: put them in REVIEW.md and link it from CLAUDE.md. - AI automation with a review loop: builder, verifier and reviewer agents run in rounds until every eval passes. - Fix it at the source: repeat mistakes become one-line rules in REVIEW.md. - Match the check to the risk: rate each feature low, medium or high before you build it. - Stop the loop from running forever: our loop stops after five rounds, or early when fixes stop working. - When something still gets through: a first-time-user agent tests the live app, and a fix-a-bug skill finds and fixes the cause. - Safe Claude Code editing with Git: a branch for each feature, so a bad change rolls back. Who this is for - Vibe coding without reading the code? This is how to use Claude Code so Claude AI checks its work before your users do. - A next step after any Claude Code for beginners tutorial, built for your own Claude Code projects. - Not a Claude Code full course, one complete Claude Code setup. - Codex vs Claude Code? The ideas carry over to any AI agent, Codex or ChatGPT included. The skills we built are for Claude Code. - The Claude Code skills from this video are in AI Labs Pro. 0:00 Intro 0:45 Why Review Matters 2:41 Evals Skill 5:42 Separate Reviewer 6:27 Review.md 7:21 Review Loop 8:54 Sponsor 9:55 Learned Rules 10:41 Risk Levels 11:42 Stopping the Loop 13:19 First-Time User Test 14:49 Fix a Bug Skill Hashtags: #ai #Claude #ClaudeCode #ChatGPT #Codex #ClaudeAI #aiAutomation #vibeCoding

이 영상에 대해 글쓰기