단 하루 만에 토큰 1,000달러어치 사용: 레거시 코드를 위한 AI 워룸 — 포드 프라이어, 가이코

하이라이트

• 가이코의 클레임 테크 그룹은 1,000달러어치의 AI 토큰을 사용하여 단 하루 만에 레거시 도메인을 처음부터 끝까지 매핑하는 실험을 진행했다.

• 백로그 분석 결과 엔지니어들은 경쟁력 유지를 위한 주요 변경 사항에 가용 역량의 25% 미만을 할애하고 있었다.

• 첫 번째 실험인 렌탈 도메인 향상을 통해 에이전트는 한 달에 8,500회의 호출을 절약할 수 있는 프로세스를 찾아냈다.

• 플릿 킷은 마크다운으로 작성된 규칙, 프로토콜, 지침의 컬렉션으로 아키텍처 변환 작업에 맞추어 설계되었다.

• 모든 컨텍스트는 복잡한 데이터 도식화 도구 대신 단순한 마크다운 파일 형태로 관리되었다.

타임라인

1. 00:00 - 03:47

   소프트웨어 개발의 내부 루프와 외부 루프의 격차

   소프트웨어 개발 라이프사이클(SDLC)의 빌드 단계는 속도가 빨라졌지만 코딩 외의 외부 루프 작업은 여전히 제약으로 작용한다. 가이코의 클레임 테크 그룹은 시맨틱 버저닝 관점에서 백로그를 검토한 결과 가용 역량의 대부분이 마이너 작업에 소비되고 있음을 발견했다. 이에 따라 사양서 작성부터 배포까지의 과정을 오프로드하기 위해 AI 에이전트에 전략적으로 투자하기 시작했다.

   • 코딩과 빌드를 포함하는 내부 루프의 속도는 빨라졌으나 외부 루프의 경계는 여전히 남아 있다.
   • 가이코는 리스크 관리 회사로서 소프트웨어를 개발하고 전달하는 방식에 리스크 관리가 깊게 내재되어 있다.
   • 엔지니어들은 패치 및 마이너 업그레이드 작업에 역량을 소모하고 있었다.
2. 03:47 - 08:21

   멀티플레이어 AI 네이티브 워룸의 구축과 세 번의 현대화 미션

   주요 변경을 프로덕션에 반영하기 위해서는 적시에 올바른 결정을 내리는 협업 능력과 복잡한 변수를 엮어내는 지능이 필요하다. 이를 해결하기 위해 주제 전문가, AI 드라이버, 커뮤니케이션 채널을 결합한 워룸이 구축되었다. 이 워룸을 통해 렌탈 도메인의 향상, 손해 도메인의 변환, 잔존물 도메인의 재상상이라는 세 가지 미션을 성공적으로 수행했다.

   • 주요 변경 사항을 가로막는 요인은 협업 능력과 지능의 부족이다.
   • 가이코는 의사결정권자, 드라이버, AI 네이티브 생산성 스위트로 구성된 멀티플레이어 AI 네이티브 워룸을 만들었다.
   • 렌탈, 손해, 잔존물의 세 가지 도메인을 대상으로 코드 현대화 실험을 수행했다.
3. 08:21 - 15:58

   플릿 킷과 코드 현대화 플러그인의 작동 방식

   시스템 운영에는 벤더가 제공하는 하네스 및 플러그인과 가이코가 보유한 지식 베이스, 과거 의사결정 기록, 에이전트 지침이 결합되었다. 박사급 함대 관리자 역할을 하는 플릿 킷은 목표를 분해하고 인간 참여형 큐와 빌더를 통해 실질적 변경을 이끌어낸다. 워룸 참여자들은 에이전트가 생성한 고품질의 아티팩트와 엣지 케이스 분석 결과에 큰 만족감을 보였다.

   • 플릿 킷은 클로드 하네스에 최적화된 마크다운 기반의 규칙 및 프로토콜 컬렉션이다.
   • 에이전트는 9단계 프로세스를 따르며 마일스톤에 도달할 때마다 워크시트와 아키텍처 다이어그램을 생성한다.
   • 코드 현대화 플러그인은 이전 단계에서 필요한 아티팩트가 제대로 생성되었는지 결정적 분석을 수행한다.
4. 15:58 - 18:34

   실험을 통해 얻은 교훈과 향후 과제

   실험 과정에서 프롬프트 캐싱의 유용성을 확인했으며 Sonnet 모델이 훌륭한 코드 작성 능력을 보여주었다. 향후에는 향상된 게이트 집행과 컨텍스트 검색 방식을 최적화하는 데 집중할 계획이다. 조직 전체로 이 시스템을 확산시키면서 에이전트가 목표를 달성하는 동안 엔지니어들이 다음 목표를 선정할 수 있도록 지원하는 방법을 모색하고 있다.

   • 작업 확인용 크론 설정은 예산을 빠르게 소진시키므로 피해야 한다.
   • 모든 컨텍스트는 복잡한 도구 대신 마크다운 파일로 관리되었다.
   • 정보 손실이 적은 방식으로 워룸의 의견을 반영할 수 있는 오디오 데이터 활용 방안이 필요하다.