AI 에이전트를 믿지 마세요. 과학자처럼 검증하세요 — 스테퍼니 자마크, 옴니 애널리틱스
원제 · Don't Trust Your AI Agents. Test Them Like a Scientist — Stephanie Jarmak, Omni Analytics
핵심 요약
공개 벤치마크 결과에 과도하게 의존하지 말고, 실제 프로덕션 워크로드를 반영한 맞춤형 평가 하네스를 구축하여 AI 에이전트를 과학자처럼 검증해야 한다.
하이라이트
초기 프롬프트를 변경하여 툴을 사용하게 유도했을 때 비용이 28% 감소했다.
오픈소스 하네스인 OpenHands에서 Opus 5와 Astra를 비교한 결과, 하네스 교체만으로도 구성 효과성에서 30% 이상의 성능 차이가 발생했다.
검색 툴 테스트 과정에서 모델이 6개의 파일만 필요로 했음에도 295개의 파일을 반환하는 현상이 나타났다.
LLM 판사의 오탐률이 약 1%일 때, 모든 알람이 그대로 사람에게 전달되면 1만 건의 검토 부하가 발생한다.
타임라인
공개 벤치마크의 한계와 하네스 설정의 영향
다양한 모델과 하네스 구성 변수에 따라 벤치마크 결과가 크게 달라지므로, 화려한 공개 수치만 믿기보다는 실제 운영 환경과 유사한 조건에서 성능을 평가해야 한다.
- 코드 검색 MCP 툴 테스트에서 프롬프트 변경으로 비용이 28% 줄었으나 에이전트의 실제 툴 사용 여부는 달라지지 않았다.
- 터미널 벤치 4 태스크 실험에서 하네스만 교체했을 때 모델 구성 효과성에서 30% 이상의 차이가 확인되었다.
- 공개 벤치마크는 전체적인 판도와 탐색 대상을 좁히는 데 도움을 줄 뿐 실제 환경에서의 성능을 보장하지 않는다.
과학적 접근을 통한 평가와 가시성 확보
소프트웨어 개발 수명 주기의 다양한 워크로드를 그룹별로 분류하고, 에이전트가 툴을 왜 호출하지 않는지 또는 불필요하게 많은 파일을 가져오는지 추적하여 측정 항목을 철저히 통제해야 한다.
- 조직 내에 실제 워크로드를 반영한 벤치마크를 구축하고 반복적인 플라이휠 프로세스를 운영해야 한다.
- 시스템 내에서 실제로 무슨 일이 일어나는지 파악하기 위해 모든 트레이스 데이터와 가시성 기록을 보존해야 한다.
- 단순 재현율뿐만 아니라 정밀도까지 고려한 F1 점수 등 비즈니스 요구에 부합하는 지표를 최적화해야 한다.
안전성 검증, 인간 검토 부하 및 프로덕션 검증
자동화된 소프트웨어 팩토리 내에서 리스크가 낮은 결정은 자율적으로 처리하되 위험 경계선을 설정하여 인간 검토 부하의 균형을 맞추고, 최종적으로는 실제 프로덕션 환경의 데이터를 수집해 신뢰성을 확보해야 한다.
- 에이전트가 오작동을 감지하더라도 작업을 강제로 중단시킬 수 있는 독립된 강제 게이트 메커니즘이 필요하다.
- LLM 판사의 낮은 오탐률이라도 전체 알람이 사람에게 전달되면 과도한 검토 병목 현상을 유발한다.
- 에이전트 추적 기록 자체의 변조 가능성을 대비해 해시 검사나 독립적인 기록 비교 방식을 마련해야 한다.
설명
Stephanie Jarmak, a former astronomer who now builds evals at Omni Analytics after building a large coding benchmark at Sourcegraph, argues that most agent evaluations are easy to misread. She shows how swapping only the harness moved results by 30%, why public benchmarks are for shortlisting rather than decisions, and how to design your own evals like an experiment: realistic tasks, repeated runs, full traces and a measurement that matches what you care about. She also covers quality gates that actually stop work, the human review bottleneck, agent records you can't trust, and why production is the final test. Chapters: - 00:00 Intro - 01:11 When the agent ignores your tool - 02:47 The harness changes the results - 03:51 Public benchmarks vs. your own evals - 05:34 Designing evals like a scientist - 07:05 Trace the whole pipeline - 08:50 Choose what you measure - 09:48 Quality gates that actually stop work - 11:20 The human review bottleneck - 12:20 When the agent's record can't be trusted - 13:21 Production is truth - 15:05 When to escalate to a human Stephanie Jarmak, Omni Analytics: https://omni.co Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!