자는 동안 스스로 발전하는 에이전트 - 푸아드 알리, 아라이즈 AI

하이라이트

• Signal 에이전트는 프로덕션 추적 데이터를 6시간 주기로 스캔해 장애 원인을 파악하고 6분 만에 GitHub 수정 PR을 생성한다.

• 실패 사례를 동적 픽스처(living fixture) 데이터셋에 지속 적재하면 배포 전 회귀 테스트 검증 세트로 기능한다.

• 스팸 분류 테스트에서 신뢰도 0.3~0.7 구간의 데이터 4.6%만 사람에게 전달해 검토하도록 설정했을 때 전체 시스템 정확도 99.5%를 달성했다.

• 결정 모델(decision model)을 활용하면 기존 LLM 심사자 방식 대비 훨씬 적은 연산 비용으로 지연 시간을 단축하며 트레이스를 검증한다.

• 카테고리 코드 enum 정규화 수정안을 실패 데이터셋에 재실행해 88.9% 검증 임계값을 통과시킨 후 배포에 반영했다.

타임라인

1. 00:00 - 05:38

   비결정론적 AI 에이전트의 장애 패턴과 자기 개선 루프의 필요성

   다양한 작업을 수행하는 에이전트는 동일 입력에도 서로 다른 경로를 거치므로 장애 진단이 어렵다. 보드게임을 0원에 판매하거나 차량을 헐값에 제공하는 식의 비즈니스 손실과 법적 분쟁을 야기한다. 야간 온콜 담당자가 수작업으로 대응하는 대신 시스템 스스로 결함을 수정하는 아키텍처가 요구된다.

   • 에이전트의 비결정성은 장애 패턴 파악을 복잡하게 만든다.
   • 캐나다 자동차 딜러십 챗봇이 프리우스 차량을 5달러에 판매하는 등의 심각한 프로덕션 사고가 발생했다.
   • 실패 사례를 자동으로 격리하고 개선책을 찾아내는 자율 피드백 루프 구축이 필수적이다.
2. 05:38 - 12:10

   추적 데이터 수집과 5단계 에이전트 성숙도 모델

   대다수 팀이 단순 트레이스 수집이나 기본 평가 수준에 머물러 있다. 수천 개의 에이전트가 생성하는 방대한 로그를 사람이 직접 검토하는 방식은 불가능하다. 자동화된 계측 하네스를 배포해 요청 시작부터 종료, 입출력 값, 다중 턴 대화 세션을 트리 형태로 묶어 구조화해야 다음 단계로의 확장이 가능하다.

   • 에이전트 개발 성숙도는 추적, 평가, 실패 데이터셋화, 수정, 회귀 검증의 단계로 나뉜다.
   • 수백만 건의 트레이스를 사람이 수동으로 확인하는 운영 방식은 유지될 수 없다.
   • AX CLI 및 오픈소스 도구를 통해 도구 호출 인자, 메타데이터, 지연 시간을 트리 구조로 자동 계측한다.
3. 12:10 - 18:25

   Signal 에이전트를 통한 장애 감지와 PR 자동 작성

   상거래 봇 Wonder Toys에서 LLM이 사람이 읽는 공백 문자열을 반환하면서 슬러그 기반 카테고리 필터가 작동하지 않는 버그가 발생했다. 이로 인해 에이전트는 전체 목록을 순회 검색하며 연속 LLM 호출과 지연 시간 급증을 겪었다. Signal은 이를 군집화해 근본 원인을 분석하고 샌드박스 환경에서 리포지토리에 대한 코드 수정안과 PR을 생성했다.

   • Signal은 6시간 주기로 실행되어 유사 장애 증상을 단일 티켓으로 군집화한다.
   • 대소문자 미정규화로 인한 다중 재시도 버그로 14~17초 지연이 발생하는 문제를 감지했다.
   • 소스 코드를 읽어 들여 6분 만에 GitHub 수정 PR을 작성한다.
4. 18:25 - 26:49

   동적 픽스처 데이터셋과 다계층 평가 설계

   고정된 시점의 테스트 스위트 대신 프로덕션 실패 사례를 동적으로 흡수하는 데이터셋 체계가 필요하다. 단순 스키마 검증은 저비용 결정론적 코드로 처리하고 정성적 판단에는 결정 모델이나 LLM 심사자를 차등 적용한다. 중복 도구 호출을 확인하는 맞춤형 평가 프롬프트 템플릿을 생성해 실시간 스트림에 배치함으로써 동일 실패의 재발을 방지한다.

   • 프로덕션 장애 트레이스를 지속적으로 축적해 살아있는 테스트 픽스처를 구축한다.
   • 평가 체계는 결정론적 코드 체크, LLM 심사자, 에이전트 심사자, 결정 모델로 계층화된다.
   • 검증 에이전트 Alex는 장애 증거를 바탕으로 중복 재시도 판별 평가 프롬프트를 자동 추출한다.
5. 26:49 - 34:14

   실험 검증 프레임워크와 신뢰도 기반 인간 개입

   비결정론적 모델 환경에서는 단일 프롬프트 수정이 전체 시스템에 부작용을 일으킬 위험이 크다. 실패 데이터셋에 수정 코드를 일괄 적용해 회귀 여부와 성능 개선을 수치로 검증해야 한다. 전체 출력을 전수 검수하지 않고 0.3~0.7 신뢰도 구간에 속하는 4.6%의 하위 데이터만 인간 전문가에게 배정해 병목을 제거한다.

   • 시스템 프롬프트의 사소한 변경이 예기치 않게 타 도구의 오작동을 유발할 수 있다.
   • 수정 버전 에이전트를 실패 픽스처 데이터셋에 재실행하여 88.9% 통과 점수를 증명했다.
   • 신뢰도 점수 임계값을 설정해 불확실성이 높은 케이스만 인간 큐로 라우팅한다.
6. 34:14 - 52:53

   전체 루프 자동화 비전과 질의응답을 통한 비용 최적화

   평가 운영은 시스템 장애 비용과 모델 호출 비용 간의 ROI 균형 문제다. 치명적이지 않은 영역에 모든 평가 모델을 상시 가동하면 비용이 급증하므로, 확립된 평가는 CI/CD 회귀 테스트로 이관하고 프로덕션에서는 퇴역시키는 최적화가 필수적이다. 도구 스킬의 범위를 필수 메트릭으로 한정해 불필요한 토큰 낭비를 차단해야 경제성을 확보한다.

   • 모든 라이브 트레이스에 전수 평가를 돌리는 대신 CI/CD 필수 단계와 프로덕션 샘플링 비율을 조합한다.
   • Datadog 등 외부 APM 스킬을 연결해 애플리케이션 및 인프라 메트릭을 추적 컨텍스트에 포함한다.
   • 평가 통과율이 99.999%에 달하는 안정화된 평가는 프로덕션에서 중단해 토큰 비용을 방어한다.