첫 AI Eval 작성법 - 샐리앤 델루시아, Arize AI

하이라이트

• 평가는 AI 에이전트의 품질을 측정하는 핵심 신호이며, 프롬프트 수정 시 회귀 감지와 객관적인 모델 비교를 가능하게 한다.

• 소프트웨어의 단위 테스트와 달리 AI 에이전트는 내부 로직을 직접 읽을 수 없으므로 추적(traces)과 평가를 결합하여 검증한다.

• 초기 평가는 하나의 품질 기준에서 시작해 사용량 증가와 프로덕션 데이터 축적에 따라 점진적으로 확장한다.

• LLM을 심판(judge)으로 활용하는 방식은 QA, 요약, 관련성 검증에 유용하며 각 레이블과 함께 판단 근거가 되는 설명을 제공한다.

• 평가 프롬프트를 작성할 때는 성공과 실패 기준을 구체적인 글머리 기호로 정의하고 변수 매핑을 통해 데이터셋과 연결한다.

타임라인

1. 00:00 - 07:28

   평가의 정의와 필요성

   세션 도입부에서는 평가의 개념과 중요성을 정의한다. 월요일마다 프롬프트를 수정하고 느낌에만 의존하는 방식은 확장성이 없으며, 객관적인 비교나 CI 품질 게이트 적용을 불가능하게 만든다. AI 에이전트는 수많은 유효한 출력과 복잡한 툴 콜을 거치기 때문에 단순 단위 테스트 대신 로그 역할을 하는 추적 데이터와 결합된 평가가 필요하다.

   • 평가는 에이전트의 성능을 객관적으로 측정하는 핵심 신호이다.
   • 느낌에만 의존하는 방식은 프롬프트 수정 시 발생하는 회귀를 감지할 수 없다.
   • 전통적인 소프트웨어의 단위 테스트와 달리 에이전트는 내부 로직을 볼 수 없어 추적(traces) 데이터가 필수적이다.
2. 07:29 - 19:02

   평가 플랫폼 탐색과 데이터셋 구성

   참가자들은 Arise 플랫폼에 접속해 API 키를 설정하고 여행 계획 에이전트의 데모 프로젝트를 탐색한다. 트레이스 트리는 사용자의 요청이 리서치 에이전트와 외부 도구 호출, LLM 요약 단계를 거쳐 최종 일정을 도출하는 과정을 보여준다. 이 과정을 통해 데이터가 저장되는 위치를 확인하고 측정할 요소를 고민하게 된다.

   • 사용자는 Arise 플랫폼에 로그인하고 API 키를 설정하여 실습 환경을 구축한다.
   • 여행 계획 에이전트의 데모 프로젝트 트레이스를 통해 입력값, 도구 호출, LLM 상호작용을 확인한다.
   • 루트 스팬과 하위 스팬을 분석하여 에이전트가 답변을 도출하는 작업 단위를 파악한다.
3. 19:03 - 32:07

   성공 기준 정의와 평가 구축

   성공과 실패의 기준은 동료에게 설명하듯 명확하고 구체적인 글머리 기호로 작성해야 LLM 평가 프롬프트로 활용할 수 있다. 처음에는 하나의 기준과 단일 레이블로 시작해 점차 평가 항목을 늘려나간다. 필터 기능을 통해 필요한 루트 스팬이나 도구 호출을 데이터셋에 저장한 뒤 플레이그라운드에서 변수 매핑과 실행을 거쳐 평가자를 완성한다.

   • 평가를 정의하는 첫 번째 단계는 '좋다'의 의미를 구체적인 기준으로 작성하는 것이다.
   • LLM을 심판으로 사용할 때는 한 번에 하나의 품질 기준만 처리하는 것이 효과적이다.
   • 식별한 스팬을 데이터셋에 추가하고 프롬프트 플레이그라운드에서 평가 프롬프트를 작성한다.
4. 32:08 - 35:18

   평가 루프 확장과 이해관계자 협업

   마무리 단계에서는 관리형 에이전트인 Signal과 정렬 과정을 포함한 전체 평가 루프를 소개한다. 평가는 단일 직군의 업무가 아니라 에이전트와 관련된 모든 이해관계자가 참여해야 하며, 메트릭과 평가를 함께 사용하여 애플리케이션을 모니터링해야 한다. 작게 시작해 피드백을 반영하며 반복 개선하는 접근 방식이 강조된다.

   • 제품, 엔지니어링, 보안 등 다양한 이해관계자가 함께 에이전트의 성공 의미를 정의해야 한다.
   • 메트릭은 문제 발생을 알려주지만 평가는 구체적인 실패 모드를 알려준다.
   • 초기에는 작은 규모의 추적과 단일 판정기로 시작해 점진적으로 확장한다.