방금 고친 에이전트가 다른 곳을 망가뜨린 이유 - Sofia Jakovcevic, Arize AI

하이라이트

• 보안 정책에 한 줄의 프롬프트를 추가하여 작동 안전성이 17포인트 향상되었으나, 동시에 작업 완료도가 17포인트 저하되는 부작용이 발생했습니다.

• 에이전트는 정적 코드 레벨이 아닌 런타임에 실패하므로, 일반적인 코드 diff만으로는 실제 작동 변화를 파악하기 어렵습니다.

• 프로덕션 트레이스는 에이전트의 실제 실행 경로와 런타임 로직을 보여주는 새로운 진실의 원천입니다.

• LLM을 평가자로 활용하면 환각, 정확도, 도구 경로 효율성 같은 주관적인 지표를 이진 점수 등의 정량적 수치로 자동 변환할 수 있습니다.

• 모든 프로덕션 실패 사례를 회귀 테스트 스위트에 지속적으로 추가함으로써 에이전트의 안정성을 점진적으로 강화할 수 있습니다.

• 코딩 에이전트를 프로덕션 관측 가능성 백엔드와 연결하면 정적 코드에만 의존하지 않고 실제 런타임 데이터에 기반하여 스스로를 수정할 수 있습니다.

타임라인

1. 00:00 - 04:47

   에이전트 회귀의 특성과 런타임 오류의 이해

   에이전트 개발 과정에서 사소한 프롬프트 변경이나 정책 추가는 전체 시스템에 예상치 못한 부작용을 일으킵니다. 지원 에이전트 예시에서 확인을 거치도록 한 줄을 추가했을 때 안전성은 높아졌지만 미완료 작업이 증가하여 전체 평균 점수가 상쇄되는 결과를 낳았습니다. 이러한 현상은 코드가 아니라 수천 가지의 실행 경로가 존재하는 런타임 트레이스에서 비롯됩니다.

   • 에이전트 시스템은 지능이 블랙박스처럼 작동하여 예측과 디버깅이 어렵습니다.
   • 보안 정책을 강화하기 위해 프롬프트에 한 줄을 추가한 결과 작동 안전성은 17포인트 상승했지만 작업 완료도는 17포인트 하락했습니다.
   • 에이전트의 오류는 정적 코드 레벨이 아니라 런타임 환경에서 발생합니다.
2. 04:47 - 11:53

   5단계 에이전트 회귀 테스트 루프 구축

   느낌에 의존한 배포를 방지하기 위해 데이터에 기반한 체계적인 5단계 회귀 루프가 필요합니다. 실제 프로덕션 데이터를 기반으로 데이터 세트를 만들고, LLM as a judge를 활용해 환각이나 도구 경로 효율성 같은 항목을 채점합니다. 이를 통해 프롬프트나 모델 변경 사항이 전체 성능에 미치는 영향을 수치로 증명한 뒤 CI/CD에 연동하여 안전하게 배포할 수 있습니다.

   • 1단계에서는 프로덕션 트레이스에서 실제 사용자 쿼리와 엣지 케이스를 포함한 데이터 세트를 구성합니다.
   • 2단계에서는 평가자로서의 LLM이나 코드 기반 평가기를 도입하여 주관적인 성능 지표를 정량적 점수로 수치화합니다.
   • 3단계와 4단계에서는 데이터 세트를 기반으로 기준선 실험을 실행하고 정책 변경에 따른 영향을 비교합니다.
   • 5단계에서는 이 실험 워크플로를 CI 파이프라인에 통합하여 회귀 기준을 충족할 때만 병합되도록 자동 차단합니다.
3. 11:53 - 19:15

   플랫폼 시연 및 관측 가능성의 미래

   실제 플랫폼 시연을 통해 프롬프트 플레이그라운드와 원격 에이전트 연결로 복잡한 다중 에이전트 시스템을 테스트하는 방법을 확인할 수 있습니다. 나아가 수동 디버깅의 병목 현상을 해결하기 위해 에이전트가 직접 관측 데이터와 연결되어 스스로 학습하고 수정하는 자율적 자기 개선 루프로 진화하고 있습니다.

   • 아라이즈 플랫폼의 프롬프트 및 에이전트 플레이그라운드를 통해 단일 및 다중 에이전트 평가를 실행할 수 있습니다.
   • 퍼블릭 에이전트 스킬을 활용하면 코딩 에이전트를 관측 가능성 백엔드와 직접 연결할 수 있습니다.
   • 관측 가능성의 미래는 인간이 대시보드를 검토하는 단계를 넘어 에이전트가 스스로를 평가하고 수정하는 자기 개선으로 향하고 있습니다.