드디어 이 방법으로 Claude Code 성능을 10배 높였습니다
원제 · He Finally 10x Claude Code With This Method
핵심 요약
클로드 코드 성능을 극대화하려면 독립된 검증 로직과 샌드박스 환경을 갖추고, 실행 결과를 토대로 지침을 자동 업데이트하는 이중 '오토 루프' 워크플로를 구축해야 한다.
하이라이트
안드레 카파시의 오토 리서치는 단일 학습 파일과 독립된 채점 파일을 활용한 루프로 700회 실험을 거쳐 모델 학습 속도를 높이는 20가지 코드 변경을 도출했다.
루프 시스템 구축이 유효하려면 반복 작업, 충분한 토큰 한도, 자동화된 검증 코드, 에이전트의 직접 실행 환경 등 4가지 조건이 충족되어야 한다.
에이전트의 로컬 기기 파일 접근 및 충돌을 방지하기 위해 각 에이전트에게 독립된 클라우드 셸과 파일 시스템을 제공하는 샌드박스 환경이 필수적이다.
단일 루프는 이전 실행의 오류 패턴을 기억하지 못하므로, 결과 파일을 읽고 지침(program.md)을 자동 수정하는 '오토 루프'를 통해 연속적인 학습 및 개선이 가능하다.
타임라인
카파시 루프의 개념과 작동 원리
카파시 루프는 학습 파일, 점수 측정 파일, 지침 파일(program.md)로 역할을 엄격히 분리한다. 에이전트는 점수 측정 파일을 조작할 수 없도록 격리된 상태에서 오직 학습 파일만 수정하며 실험을 반복한다. 점수가 향상되면 변경 사항을 유지하고, 그렇지 않으면 즉시 취소하는 방식으로 사람의 intervention 없이 성능을 끌어올린다.
- 체계적인 루프 워크플로는 AI 에이전트가 단독으로 수시간 동안 작업을 수행하여 높은 성과를 내도록 지원한다.
- 카파시의 오토 리서치 프로젝트는 700회의 자율 실험을 통해 모델 학습 속도를 올리는 20가지 개선안을 발견했다.
- 쇼피파이 CEO는 밤새 루프를 실행하여 모델 성능을 19% 향상시켰다.
AI 루프 워크플로 적용을 위한 4가지 필수 조건
루프는 매 라운드마다 프로젝트 전체 컨텍스트를 다시 불러오므로 토큰 소모량이 극심하다. 기본 $20 플랜 수준에서는 긴 루프 실행 도중 한도에 도달하기 쉽다. 따라서 인간의 개입 없이 코드 수준에서 성공 여부를 즉시 판정할 수 있는 테스트 스크립트와 실행 환경이 갖춰진 반복 업무에만 루프를 배치해야 효율을 얻을 수 있다.
- 반복성이 낮은 단발성 작업에 루프를 적용하면 프롬프팅 대비 구축 시간과 토큰이 낭비된다.
- 루프 시스템이 정상 작동하려면 높은 사용량 한도, 자동화된 코드 검사, 에이전트의 직접 실행 환경이 반드시 요구된다.
- 전체 앱을 하나의 루프에 위임하기보다 측정 가능한 단일 기능 단위로 루프를 제한해야 한다.
클로드 코드 기반 루프 시스템 및 안전한 샌드박스 구성
앱의 가이드라인과 규칙을 다루는 메인 컨텍스트는 필요할 때만 호출되는 스킬 형태 구조로 설계하여 컨텍스트 윈도우를 최적화한다. 빌드 스킬은 기능 구현 전 검사 항목을 먼저 작성하며, 승인된 검사 파일은 Git 커밋 및 파일 접근 제한 규칙을 통해 에이전트의 무단 수정으로부터 보호된다. 여러 에이전트를 동시에 돌릴 때 발생할 수 있는 로컬 환경 파일 오염은 업스타치 박스 같은 독립된 샌드박스로 방지한다.
- 프로젝트 컨텍스트 스킬은 세부 정보를 요약된 설명으로 유지하여 토큰 윈도우 낭비를 방지한다.
- 에이전트가 스스로 검사 기준을 수정하지 못하도록 승인된 검사 항목을 잠긴 폴더로 이동하고 커밋한다.
- 로컬 기기의 파일 훼손 및 충돌을 막기 위해 독립된 클라우드 샌드박스 환경에서 에이전트를 실행해야 한다.
단일 루프의 한계와 오토 루프를 통한 자율 지침 개선
단일 에이전트 루프는 검사 기준을 통과하더라도 앱 전체와의 연동을 누락하거나 동일한 실수를 반복하는 경향이 있다. 이를 해결하기 위해 실행 결과(유지/취소 여부, 실패 원인)를 읽고 지침 파일인 program.md의 작업 규칙을 업데이트하는 상위 '오토 루프'를 추가한다. 다만 오토 루프 역시 통과 기준을 임의로 낮추지 못하도록 검사 항목 파일 편집 권한은 차단된다.
- 단일 루프 구조에서는 이전 라운드에서 저지른 에이전트의 실수가 다음 실행으로 이월되는 한계가 존재한다.
- 오토 루프 스킬은 결과 파일의 실패 패턴을 분석하여 program.md 지침을 직접 재작성한다.
- 지침 자동 업데이트를 통해 다음 실행 시 동일한 오류를 방지하고 연동성 높은 코드를 생성한다.
설명
Loop engineering is how people get Claude Code to build on its own for hours. Thank you Upstash for sponsoring! Check them out at https://upstash.com/?utm_source=ailabs1 and Run AI coding agents safely in the cloud with Upstash Box. We set up Karpathy's loop on our own apps, found the one issue it can't see, and fixed it with a loop that improves itself. It's the step past prompt engineering for agentic AI and AI automation. Community with All Resources: https://ailabspro.io/?v=qLfSDQ5NGh0 The Roundup, our daily newsletter covering the AI stories that matter. Join now: https://www.theroundup.so/ WTF is loop engineering? It's building agentic loops: an AI agent makes a change, a separate check scores it, and the agent keeps the change only if the score improves. Loop AI engineering took off with Andrej Karpathy's AutoResearch. His agent was allowed to change only one training file and could never touch the file that scored it. A plain-English file called program.md told it how to run each round. Over two days it ran 700 experiments and found 20 changes that made the model train faster. Shopify's CEO ran the same kind of loop on one of his own models overnight: 37 experiments, and the model performed 19% better by morning. This is a full long video on loop engineering. Before the setup, we cover when a loop is worth building at all. The task should be one you repeat often. You need a usage limit that can handle the token cost. The work has to be checkable without a human, using a clear score. And the agent has to be able to run what it built and see what breaks. Then we walk through our Claude Code loop engineering workflow: - a project context skill that works as the app's memory bank - a build skill that drives the whole loop - a write checks skill that writes the checks before any feature gets built - an approve checks program that locks the checks in a folder the agent can't edit - a fresh feature builder agent for every feature - a results file that records every round The skills and agents around the loop are where loop engineering and harness engineering overlap. Loop engineering example #1: we asked the loop to add pickup ordering to a restaurant website. It wrote 11 checks, and all 11 passed in the first round. Then it built the order form the checks never tested and connected it before marking the feature done. Loop engineering example #2: the auto loop, a loop on top of the loop. It reads how each run went, finds habits that keep repeating, and rewrites the "How to work" part of program.md so the next feature starts from the method that worked. It can never edit the checks. On a project management app, it caught a shared database that passed all 10 checks while the app never saved anything to it. It also caught a mentions feature that clashed with older parts of the app, and it fixed both habits for the features that came next. Loop engineering in Claude works the same whichever model you run, Fable included. We built this for Claude Code, but the AI automation ideas carry over if you build with ChatGPT, OpenAI's Codex, or any other AI agent. 0:00 Intro 0:51 Karpathy's Method 2:32 When to Use Loops 4:02 The Setup 6:41 Sponsor 7:37 Running the Loop 8:38 The Habit Problem 9:56 Auto Loop in Action Hashtags #ai #claude #claudecode #chatgpt #openai #codex #aiautomation #loopengineering