에이전트에게 완료 증명 가르치기 — 닉 니시 & 잭 프로저, WorkOS

하이라이트

• 자연어 프롬프트 지시 대신 맞춤형 CLI와 셸 스크립트로 검증 명령을 고정할 때 비결정론적인 LLM 에이전트의 동작 편차를 줄일 수 있다.

• UI에 렌더링된 성공 메시지만으로는 데이터베이스나 스토리지의 실제 지속성을 보장하지 못하므로 상태 저장 여부를 독립적으로 확인해야 한다.

• 문자열의 단순 1:1 일치 여부 대신 시스템 1 모델 판정기를 도입하면 문구 변경으로 인한 불필요한 테스트 실패를 방지한다.

• 에이전트가 실패 원인을 스스로 수정하고 루프를 닫도록 유도하려면 구체적이고 상세한 에러 메시지와 실행 상태 출력이 필수적이다.

• 전체 사용자 경로, 스크린샷, 화면 녹화 기록을 '영수증' 형태로 보존하면 사람의 PR 검토 시간을 단축하고 자기 진화형 평가 데이터셋으로 활용할 수 있다.

• 저장소 루트에 agents.md 파일을 추가해 변경 사항 발생 시 실행할 검증 명령을 명시하면 팀 전체 에이전트의 작업 표준을 강제한다.

타임라인

1. 00:00:00 - 00:07:31

   에이전트 작업 완료 검증의 필요성과 한계

   다수의 터미널 탭과 세션에서 에이전트를 병렬 실행하면 인간이 모든 코드 라인과 PR을 직접 들여다보기 어렵다. 빌드와 테스트를 통과했다고 보고하더라도 브라우저 메모리에만 임시 반영되고 실제 스토리지에는 저장되지 않는 미세 버그가 발생한다. 코드를 일일이 확인하는 대신 동작 결과를 객관적으로 증명하는 체계가 필요하다.

   • 에이전트가 단 9초 만에 운영 데이터베이스를 삭제하는 사고는 검증 부재에서 발생한다.
   • 에이전트의 코드 생산 속도가 인간의 리뷰 속도를 넘어서면서 신호 대 잡음비 문제가 대두된다.
   • 양식 제출 후 성공 메시지가 화면에 노출되어도 페이지 새로고침 시 데이터가 유지되지 않는 결함이 존재한다.
2. 00:07:31 - 00:16:00

   평가 기반 하네스와 자율 검증 도구

   모델의 주장 대신 실행 기록과 증거를 통해 완료 상태를 정의해야 한다. CTX는 Cloudflare 기반 웹 앱으로 에이전트 간 메모리를 공유하고 MCP를 통해 GitHub API 머지 체크 충족 여부를 중앙에서 판정한다. Riker는 PR 피드백과 테스트 실패 수정을 인계받아 인간 엔지니어가 출시 직전 세부 잡무 대신 설계 의도에 집중하도록 돕는다.

   • 에이전트가 자체 검증 능력을 갖추면 모델 역량 발전과 결합해 자기 진화형 코드베이스 관리가 가능해진다.
   • WorkOS에서는 월 900개의 PR을 처리하며 작업을 잘게 나누고 완료 조건을 정량적으로 명시한다.
   • 중앙 검증 웹 서비스인 CTX와 PR 후속 관리를 전담하는 Riker 도구로 반복 작업을 자동화한다.
3. 00:16:00 - 00:26:01

   전용 검증 CLI 스택과 스낵(Snack) 도구

   터미널 내부 텍스트만 처리하는 LLM은 실제 런타임 환경의 변화를 감지하지 못한다. 크롬 개발자 도구의 네트워크 탭이나 로컬 스토리지 확인 역할을 대신하는 스크립트를 제공해야 에이전트가 변경 사항을 직접 테스트한다. 스낵 도구는 데이터 추가 후 스토리지가 비어 있음을 확인하는 즉시 에이전트가 누락된 저장 로직을 보완하도록 피드백 루프를 형성한다.

   • 자연어 프롬프트 지시보다 맞춤형 CLI 기반 배시 명령어가 일관된 결정론적 실행을 보장한다.
   • 스낵(Snack) CLI는 doctor, snapshot, screenshot 명령을 제공해 에이전트에 관찰 능력을 부여한다.
   • 데이터 스토리지 확인과 페이지 리로드 스냅샷을 통해 데이터 영구 보존 실패를 즉각 검출한다.
4. 00:26:01 - 00:37:53

   피드백 루프 주도 개발과 목표 기반 제약

   프론티어 모델은 도달해야 할 값과 상태 조건을 전달받았을 때 스스로 다양한 해결 경로를 탐색하며 엣지 케이스를 처리한다. 스크린샷 단독 이미지는 조작된 상태일 위험이 있으므로 처음부터 끝까지 올바른 단계를 거쳐 생성된 결과인지 함께 검증해야 한다. 상세한 에러 메시지를 제공하면 실패 자체가 에이전트의 후속 자가 수정 작업을 이끄는 동력이 된다.

   • 캔버스 내 공의 좌표처럼 상태 변화 데이터를 지속적으로 반환하는 피드백 루프가 디버깅 성공률을 높인다.
   • Playwright나 E2E 테스트 도구를 에이전트의 실행 가능한 도구로 등록해 회귀 테스트를 수행한다.
   • 도달해야 할 목표 지점만 명시하고 실행 경로는 제약하지 않을 때 최신 LLM의 문제 해결 능력이 극대화된다.
5. 00:37:53 - 00:48:08

   영수증 보존과 시스템 1 모델 판정기

   UI 텍스트가 '대기자 명단 등재'에서 '등록 완료'로 변경되면 엄격한 문자열 매칭 테스트는 실패한다. 즉각적이고 가벼운 추론을 수행하는 시스템 1 모델을 평가 단계에 배치해 의미론적 성공 여부를 유연하게 판정한다. 런타임 실행 흔적과 사용자 여정을 체계적으로 남겨두면 향후 자율 개선 하네스를 고도화하는 데 필요한 기초 데이터셋이 확보된다.

   • 단순 문자열 일치 검사의 한계를 극복하기 위해 직관적이고 빠른 시스템 1 모델 판정기(judge)를 사용한다.
   • 실행 과정 전체를 담은 '영수증(receipts)' 데이터는 장기적으로 모델 힐클라이밍의 훈련 자산이 된다.
   • 스낵의 버그 추적 게임처럼 무작위 주입 결함을 탐지하고 증명하는 테스트를 구축한다.
6. 00:48:08 - 01:00:55

   agents.md 도입과 로컬 고속 루프 운영

   모델의 자율 판단에 맡기는 스킬 방식보다 agents.md 파일이나 개발 환경 훅으로 검증 명령 실행을 유도하는 구성이 팀 단위 표준화에 유리하다. 10개 이상의 에이전트를 병렬 구동할 때 로컬 단위 테스트 피드백이 빨라야 인간의 개입 턴 수가 줄어든다. 모니터링 에이전트가 프리뷰 및 운영 배포 지표를 감시하는 계층적 검증 파이프라인으로 위험을 통제한다.

   • 저장소에 agents.md를 작성해 PR 생성 전 수행해야 할 필수 검증 명령을 명시하는 방법이 효과적이다.
   • CI 빌드 이전 로컬 환경에서 빠른 피드백 루프를 돌려 에이전트가 스스로 작업을 끝내도록 만든다.
   • 프로덕션 롤아웃 전담 에이전트가 Datadog 지표와 기능 플래그를 관찰해 장애 시 롤백을 수행한다.