/grill-me를 업데이트하고 Claude Code 문제를 해결했습니다

CChase AI
Computing/SoftwareSmall Business/StartupsInternet Technology

Transcript

00:00:00Plan 모드만으로는 충분하지 않습니다. Matt Pocock의 Grill Me와 같은 기술이나 더 큰 규모의
00:00:06오케스트레이션 레이어인 GSD 또는 superpowers 모두 같은 문제를 해결하려고 합니다. 머릿속의 막연한 아이디어를
00:00:11Claude Code가 실제로 빌드할 수 있는 것으로 바꾸는 것이죠. 하지만 어떤 경로를 선택하든
00:00:16어떤 기술을 선택하든 모두 같은 문제에 봉착합니다. 여러분은 단일 모델에 의존하고 있습니다.
00:00:21계획하고 빌드하는 것뿐만 아니라, 스스로의 작업을 평가하는 데에도 단일 모델에 의존하게 되죠.
00:00:26그래서 Claude에게 “이게 최적의 경로인가요?”라고 물어보면 뭐라고 할까요?
00:00:31무슨 짓을 하든 아주 훌륭하다고 말할 겁니다. 그리고 이것이 문제입니다. 왜냐하면 기술적 배경지식이
00:00:35없다면 Claude가 작성한 코드가 실제로 말이 되는지 알 수 없기 때문입니다.
00:00:41하지만 이번 영상에서 그 문제를 해결하는 방법을 알려드리겠습니다. Matt Pocock의
00:00:45Grill Me 기술을 기반으로 Codex를 통한 적대적 코드 리뷰를 추가할 겁니다. 하지만 이건
00:00:51기존에 보셨던 Codex 플러그인을 훨씬 뛰어넘는 코드 리뷰입니다. 이 코드 리뷰는
00:00:55반복적입니다. Claude Code와 Codex가 서로 여러 번 대화를 나누며
00:01:00두 주요 AI 도구가 여러분의 계획을 모두 승인할 때까지 진행됩니다. 그래서 Claude Code가 내놓은
00:01:07결과물이 실제로 말이 된다는 확신을 가질 수 있습니다. 이 기술을 사용하면
00:01:12모든 프로젝트를 두 가지로 시작할 수 있습니다. 첫째, 여러분이 실제로 이해하는 계획. 둘째,
00:01:18여러 AI 도구가 승인한 계획이죠. 오늘 제가 여러분께 드릴 것은 두 가지 기술입니다.
00:01:23이 두 기술은 모두 Matt Pocock의 GitHub 저장소에 있는 내용을 바탕으로 만들어졌습니다.
00:01:28그는 Grill Me와 Grill with Docs라는 두 가지 기술을 가지고 있죠. 제가 드릴 기술은 Grill Me Codex
00:01:35와 Grill with Docs Codex입니다. 무슨 일이 일어나는 걸까요? Grill Me와 Grill with Docs는 사실상
00:01:41업그레이드된 Plan 모드입니다. GSD나 superpowers처럼 한 단계 더 나아간 것이죠. 질문은 더
00:01:48심도 있게 들어갑니다. 여러분이 실제로 만들고자 하는 것이 무엇인지 더 깊이 이해하게 해줄 겁니다. 왜냐하면
00:01:53인정하고 싶지 않겠지만, 여러분은 아마 자신이 원하는 것을 명확히 표현하는 데 서툴기 때문이죠.
00:01:57시작할 때 Claude Code에게 원하는 것을 제대로 설명하지 못하면,
00:02:01AI 쪽에서 많은 가정을 하게 되고, 결과적으로 평범한 제품이 나오게 됩니다. 그래서 Grill Me와 Grill with
00:02:07Docs는 계획 단계에서 더 깊이 파고들어 모두가 같은 내용을 이해하도록 해서 더 나은 결과물을 줍니다.
00:02:12제 기술은 그 뒤에 두 번째 단계를 추가합니다. Claude와
00:02:19Codex가 같은 의견에 도달한 후에, Codex가 들어와서 “좋아요. 하지만 여기는 고쳐야 하네요.”라고 말하죠.
00:02:24그러면 Claude Code와 Codex가 서로 의견을 주고받습니다. 이게 중요하다고 생각하는 이유는
00:02:28Grill Me, GSD, superpowers 같은 것들이 바로 여러분과 Claude Code 사이의
00:02:34이 격차를 확인했기 때문이죠. 아이디어가 있고 설명할 수 있다면, 서로
00:02:38주고받으면서 같은 수준에 도달하는 거죠. Grill Me, GM은 이 작업에 완벽합니다.
00:02:44문제는 당신과 Claude Code가 의견을 맞췄다고 해서, 우리가 자동으로
00:02:51최적의 코드에 도달했다는 뜻일까요? 그럴 수도 있고 아닐 수도 있죠. 누가 장담하겠습니까?
00:02:57여러분은 아마 전문 소프트웨어 엔지니어가 아닐 겁니다. 그럴 수도 있겠지만,
00:03:03이 영상을 보는 대부분은 그렇지 않다고 생각합니다.
00:03:08Matt Pocock의 방식도 훌륭하지만, 그건 실제 엔지니어를 위한 기술입니다.
00:03:13여러분은 진짜 엔지니어인가요? 아닐 겁니다. 만약 아니라면, Claude와 Codex가 작성한 내용을
00:03:19평가할 수 없는 문제에 빠지게 될 겁니다. 의견이 같더라도,
00:03:23그게 쓰레기일 수도 있고, 대단할 수도 있죠. 누가 알겠어요? 또 다른 문제는, 여러분은
00:03:28평가할 수 없고, Claude Codex도 평가할 수 없다는 겁니다. 왜냐하면 Claude Codex는, Anthropic도
00:03:34말했듯이, 자신이 작성한 코드에 대해 아주 친절하고 좋게 말하기 때문입니다. Claude Codex에게
00:03:40작성한 내용을 평가해달라고 하면 “네, 아주 완벽해요.”라고 하거든요. 그래서 이 경우 그들이
00:03:46신뢰할 수 있는 서술자나 평가자일까요? 아닙니다. 무슨 일이 벌어지는지 모르고,
00:03:50Claude Codex를 완전히 믿을 수 없다면, 우리는 어디에 서 있는 걸까요? 이 격차가 남는 거죠.
00:03:56Claude Code와 최적의 코드 사이의 격차 말입니다. 그래서 분명한 해결책은,
00:04:02중립적인 제3자를 불러 계획을 검토하게 하는 것입니다. 그래서 Codex가 들어옵니다.
00:04:09이 Codex 리뷰는 제가 Pocock 기술에 추가한 것이고, 오늘 여러분께 드릴 것입니다.
00:04:16첫 번째 절반은 GrillMe와 정확히 같습니다. 질문을 주고받으며 계획을 함께
00:04:21완성해 나가는 거죠. 이제 계획이 확정되면, 그때
00:04:27Codex가 들어와 Claude Codex가 내놓은 것을 보고
00:04:32이건 좋고, 이건 나쁘고, 어떻게 생각하냐고 물을 겁니다. Claude Code는 그걸 보고
00:04:36오, 그렇네요. 수정하겠습니다. 이렇게 고쳤습니다. 다시 봐주세요, Codex. 이렇게
00:04:41반복 과정을 거칩니다. 최대 5번까지인데, 쉽게 수정할 수 있습니다. 이것은
00:04:48표준 적대적 리뷰 Codex 플러그인과는 조금 다른데, 더 반복적이기 때문입니다.
00:04:52핵심 아이디어는 충분히 서로 주고받다 보면
00:04:575번 이전에라도 둘 다 “좋아요, 진행합시다”라고 하는 단계에 도달할 것이라는 점입니다.
00:05:01결론적으로 제가 오늘 드리는 것은 바로 이 격차를 메우기 위한 것입니다.
00:05:09Claude Code와 최적의 코드 사이의 격차, 여러분과 제가 파악하기 힘든 그 부분 말입니다.
00:05:16우리는 전문 소프트웨어 엔지니어가 아니고 Claude Code도 어느 정도까지만 신뢰할 수 있으니까요.
00:05:21그래서 이 부분을 다루는 겁니다. 이제 모두 같은 의견에 도달했습니다.
00:05:28데모로 넘어가기 전에 오늘 후원사, 즉 제 소개를 잠시 하겠습니다.
00:05:33Chase AI Plus는 제 Claude Code 마스터클래스의 본거지입니다.
00:05:37기술적 배경이 전혀 없더라도 0에서 AI 개발자로 나아가는 가장 좋은 방법입니다. 실제 사례에
00:05:42집중하죠. 최근에는 Claude OS 마스터클래스도 추가했습니다. Obsidian을 통합하고
00:05:49완벽한 커맨드 센터를 만들고 싶다면, 여기가 딱입니다.
00:05:54고정 댓글에서 링크를 찾으실 수 있습니다. 오늘의 데모를 위해 웹사이트에 새 페이지를 추가할 겁니다.
00:05:59이곳은 제 AI 에이전시 웹사이트입니다. 새 페이지는 사람들에게
00:06:05독점 기술에 대한 액세스를 제공할 겁니다. 이 페이지에 접근하려면 클릭할 때
00:06:11이메일을 입력해야 합니다. 즉, 게이트가 걸려있고 이메일을 얻은 후,
00:06:16다운로드할 수 있게 하는 거죠. 이메일은 이미 존재하는 우리 데이터베이스로 처리되어야 합니다.
00:06:22즉, 처음부터 기능을 만드는 게 아니라, 이미 존재하는 코드 베이스를 살펴보고
00:06:27조화롭게 만들어야 합니다. 이것이 제가 Claude Code에게 주는 프롬프트입니다. “run grill me codex”
00:06:32Grill me codex Claude code 기술을 잠금 해제하는 이메일 캡처 게이트를 사이트에 추가하고 싶어.
00:06:38방문자가 기술 다운로드가 오버레이 뒤에 흐릿하게 표시된 페이지에 랜딩하면,
00:06:42이메일을 입력해 잠금을 해제하고 이메일이 저장되도록 해. 그리고 추가 컨텍스트를 제공했습니다.
00:06:49첫 번째 부분은 Grill Me 기술이 될 겁니다. Matt Pocock의
00:06:56기술과 정확히 같은 Grill Me 부분이죠. 우리가 기반으로 하는 바로 그겁니다. 그 부분은 동일합니다.
00:07:00모든 질문을 마치면 Codex가 들어올 겁니다. 코드 베이스를
00:07:03살펴본 후 첫 번째 질문을 합니다. 블러 처리와 관련해
00:07:07이 게이트를 얼마나 확실하게 구현할 건가요? 단순 시각 효과인가요, 아니면 실제로 강제할 건가요?
00:07:11Grill Me와 마찬가지로 질문을 던지고 잠재적 답변을 줄 때마다,
00:07:16자신의 추천과 그 이유도 제시합니다. 이 경우에는 시각적 효과만
00:07:21주면 됩니다. 무료 기술이거든요. 목적은 단순히 이메일을 캡처하는 것입니다. 그래서 그냥,
00:07:25시각적 효과면 충분하다고 할 겁니다. 어차피 무료 파일이니까요. 다음은 에셋이 어디에 저장될지,
00:07:30어떤 형식일지 묻습니다. 이번 데모를 위해 추천
00:07:36옵션으로 진행하겠습니다. 나머지는 보여드리지 않겠습니다. 이건 Grill Me
00:07:40영상이 아니니까요. 보신 적 없다면 이게 전반적인 흐름이라는 것만 이해하세요.
00:07:44일련의 질문을 하고, 잠재적 답변과 추천을 제시합니다.
00:07:48Plan 모드와 매우 비슷하지만, 업그레이드된 버전이죠. 보시는 것처럼,
00:07:51Grill me 쪽에서 10개의 질문을 마쳤고, 이제 Codex
00:07:56부분으로 넘어갔습니다. Codex 부분은 두 개의 마크다운 파일을 만듭니다. plan.md
00:08:02와 plan review log.md가 있습니다. plan.md는 우리가 만들 결과물의 원천입니다.
00:08:10이게 최종 결과물입니다. plan review log.md는
00:08:16Claude Code와 Codex가 서로 싸우는 곳입니다. Codex가 원래의 plan.md를 보고,
00:08:21Claude Code가 만든 전반적인 것을 살펴봅니다. 바로 이 plan review log에서 Codex가
00:08:28야, 이거 별로야, 이거 아니야 등등을 말합니다. 이건 그들이 주고받는
00:08:33대화 로그도 제공합니다. Codex와 Claude Code의 이 대화가 끝나면,
00:08:38업데이트된 plan.md를 얻게 됩니다. 그래서 plan.md가 최종 결과물이고 모든 것이
00:08:46거기를 기반으로 빌드됩니다. plan review log는 대화가 오가는 곳이자 실제 작업이 이루어지는 곳입니다.
00:08:52또한 이 적대적 리뷰는 헤드리스 방식이지만, 여전히 Codex에 세션 ID를 제공합니다.
00:08:59그러니 첫 번째 반복과 두 번째, 세 번째 반복에서 Codex가 완전 백지상태인 것은 아닙니다.
00:09:05Claude Code와의 전체 대화 내용을 항상 기억하고 있죠. 여기서 보시는 것처럼
00:09:121라운드에서 Codex가 문제라고 판단한 11가지를 찾았습니다. 그리고
00:09:18Claude Code가 유효하다고 판단하여 수용한 내용을 바탕으로 plan.md를 업데이트한 것도 볼 수 있습니다.
00:09:252라운드에서는 4개의 추가 문제를 찾았습니다. 11개에서 4개로 줄었죠. 그리고 역시,
00:09:31계획이 업데이트되었습니다. 여기 3라운드에서 보면 승인되었다는 결과가 나옵니다. 이제
00:09:35Codex와 Claude Code가 같은 페이지에 있습니다. Codex가 여전히 몇 가지 사항을 표시했지만,
00:09:40사소한 것들이라 진행을 막는 건 아닙니다. 끝부분에서
00:09:455라운드 중 3라운드에서 승인되었다고 하며 최종 계획이 어떻게 되는지 보여줍니다,
00:09:50두 단계가 무엇을 가져다줬는지, 특히 2단계인 Codex와
00:09:56Claude Code의 싸움이 가져온 결과를 보면, 실제 보안 및 정확성 결함을 발견했습니다.
00:10:01무제한 클라이언트 스킬 슬러그, 대소문자 구분 중복 제거 우회, 상대 이메일 링크,
00:10:06raw 리스트 폭탄 벡터, 테이블 스캔 속도 제한 등이 있었죠. 그리고 2라운드에서는 가짜
00:10:12수정 사항들을 찾아냈습니다. 1라운드에서 Codex가 “여기 문제들이 있다”고 하자 Claude Code가 고치려 했는데,
00:10:182차 반복에서 Codex는 “그건 진짜 해결책이 아니야”라고 한 거죠. 이중 옵트인
00:10:24요청은 주장했지만 구현되지 않았고, Supabase JS가 타겟팅할 수 없는 인덱스 중복 제거 표현 등
00:10:30잠금 해제를 차단하던 응답 전 대기 코드가 후로 이동된 것을 알아챘습니다. 딱 3라운드였지만,
00:10:38첫 번째 계획을 실행하고 전체 문제 해결 과정을 거치는 것보다 훨씬 시간을 아껴줍니다.
00:10:44끝에 몇 가지 미해결 항목도 제기하는데, SQL 마이그레이션 같은 것들입니다.
00:10:49이건 Claude Code가 충분히 스스로 할 수 있는 부분이라서 그냥 게으름을 피운 거죠.
00:10:54사이트 상단으로 돌아오면 무료 기술이 있습니다. 클릭하면,
00:10:58이메일을 요청하죠. 좋습니다. 이제 .zip 파일로 기술을 다운로드할 수 있게 되었습니다.
00:11:08실제로는 당연히 텍스트나 모든 요소가 웹사이트와 일치하길
00:11:12바라겠지만, 보시다시피 우리가 목표로 했던 것을 만들었습니다.
00:11:18이 영상의 요점은 특정 데모가 아니라, 이 기술의 작동 방식을 보여주는 것이었습니다. 스스로 이 기술을
00:11:23얻는 방법은 고정 댓글에 남겨두어 쉽게 찾으실 수 있게 하겠습니다.
00:11:27그 외에는 이게 전부입니다. 당연히 알아야 할 것은,
00:11:31우리가 Codex를 사용한다는 점입니다. 그래서 Open AI 계정이 필요합니다.
00:11:35Codex 다운로드는 비교적 간단합니다. 이 시스템에서 많은 것을 얻기 위해
00:11:39월 20달러짜리 Open AI 플랜 이상의 것은 전혀 필요 없습니다. 우리가 만든 이 시스템은
00:11:45다른 로컬 모델로 쉽게 교체할 수 있습니다. Open AI에
00:11:50매달 20달러 내고 싶지 않다면, DeepSeq이나 가지고 계신 다른 로컬 또는 저렴한 모델을
00:11:55쓰면 됩니다. 아주 쉽습니다. 구조는 갖춰져 있으니까요.
00:12:00제가 만든 기술을 Claude Code로 가져와서 “Codex 대신 사용할 모델을 넣어줘”라고 하면 됩니다.
00:12:07정말 그 정도로 쉽고 유연합니다. 그러니 많은 것을 할 수 있습니다.
00:12:12저는 이 기본 뼈대가 전문 코더가 아닌 사람들에게 아주 유용하다고 생각합니다.
00:12:16Claude Code가 한 일을 빠르게 효율적으로 살펴보고, 이게 말이 된다거나 안 된다고
00:12:22판단하는 건 많은 사람들의 전문 분야가 아니니까요.
00:12:26솔직히 그럴 필요도 없고요. 우리 대신 해줄 도구가 있으니까요. 그러니 늘 그렇듯,
00:12:32어떻게 생각하는지 알려주세요. Claude Code 마스터클래스를 얻고 싶다면
00:12:35꼭 Chase AI Plus를 확인해보시고요.
00:12:37다음 영상에서 뵙겠습니다.

Key Takeaway

단일 AI 모델의 코드 생성 오류를 방지하기 위해 Claude Code가 작성한 계획을 Codex가 최대 5회 반복적으로 검토하고 수정하는 적대적 리뷰 프로세스를 구축하여 코드의 보안성과 정확성을 확보함.

Highlights

  • Claude Code와 같은 단일 모델은 코드 생성 시 평가 능력이 부족해 신뢰할 수 없는 결과물을 생성할 위험이 있음.

  • Grill Me Codex 방식은 Claude Code가 작성한 계획을 Codex가 최대 5회 반복적으로 검토 및 수정하는 적대적 리뷰 프로세스를 추가함.

  • Codex는 plan.md 파일을 최종 결과물로 생성하며, plan review log.md를 통해 Claude Code와의 구체적인 대화 및 수정 내역을 기록함.

  • 2단계 적대적 검토 과정에서 보안 및 정확성 결함(무제한 클라이언트 스킬 슬러그, 중복 제거 우회 등)을 실제 발견하고 수정함.

  • 이 시스템은 Open AI API 기반이지만, 설정을 수정해 DeepSeek 등 로컬 모델이나 다른 저렴한 모델로 쉽게 교체 가능함.

Timeline

단일 AI 모델의 한계와 해결 필요성

  • Claude Code와 같은 단일 모델은 스스로 작성한 코드의 품질을 객관적으로 평가할 수 없음.
  • 기존의 계획 수립 방식은 사용자와 AI 간의 정보 격차로 인해 최적화되지 않은 결과물을 생성할 가능성이 높음.
  • 전문 엔지니어가 아닌 경우 AI가 생성한 코드의 기술적 적합성을 판단하는 데 한계가 존재함.

사용자는 아이디어를 실제 구현물로 바꾸기 위해 Claude Code 등을 사용하지만, AI는 자신의 작업에 대해 지나치게 긍정적인 평가를 내리는 경향이 있음. 기술적 배경지식이 없는 사용자는 AI가 생성한 코드가 논리적으로 타당한지 검증하기 어려움. 이 격차를 해소하기 위해 독립적인 제3자의 계획 검토 과정이 필요함.

Grill Me Codex 프로세스 도입

  • Grill Me Codex는 계획 수립 단계와 Codex의 반복적 적대적 리뷰 단계로 구성됨.
  • Codex와 Claude Code는 최대 5회까지 서로 의견을 주고받으며 최종 계획인 plan.md를 확정함.
  • 시스템은 계획 수립 과정에서 보안 결함이나 가짜 수정 사항을 실시간으로 감지하고 대응함.

먼저 Grill Me 기술을 통해 사용자의 요구사항을 명확히 정의함. 이후 Codex가 Claude Code의 계획을 평가하고, 부족한 부분을 지적하면 Claude Code가 이를 수정하여 다시 검토받는 과정을 반복함. 이 모든 대화와 수정 과정은 plan review log.md에 기록되며, 최종 승인된 내용은 plan.md에 반영되어 코드 구현의 신뢰성을 높임.

실제 구현 결과 및 활용 확장성

  • 적대적 리뷰 과정을 통해 무제한 클라이언트 스킬 슬러그 및 테이블 스캔 속도 제한 등의 실제 결함을 해결함.
  • 전체 시스템은 월 20달러 수준의 Open AI API 비용으로 운영 가능하며, 로컬 모델로의 대체가 용이함.
  • 코드 구현 능력과 상관없이 AI 도구 간의 상호 검증을 통해 전문적인 코드 품질을 확보할 수 있음.

실제 데모를 통해 이메일 수집 게이트 구현 과정에서 발생한 여러 기술적 허점들을 적대적 리뷰 과정이 찾아내고 수정했음을 보여줌. 이 시스템은 특정 모델에 종속되지 않는 유연한 구조를 가지고 있어 DeepSeek 등 다른 저렴하거나 로컬 모델로 쉽게 전환이 가능함. 전문 코더가 아니더라도 AI 에이전트 간의 상호 작용을 활용하여 고품질의 결과물을 얻을 수 있음.

Community Posts

No posts yet. Be the first to write about this video!

Write about this video