캐싱이 없으면 AI 에이전트 비용이 10배 더 듭니다 - 조지 카메론, 인공지능 분석(Artificial Analysis)

하이라이트

• 아티피셜 안나시스는 AI 스택 전반을 독립적으로 벤치마킹하는 50명 규모의 기업이다.

• 언어 모델의 일반 지능을 평가하는 지능 지수(Intelligence Index)는 10가지 서로 다른 평가를 종합한 단일 수치이다.

• 최고 성능의 선두 독점 모델과 비용이 저렴한 오픈 웨이트 모델 사이에는 여전히 3개월에서 9개월의 격차가 존재한다.

• 프롬프트 캐싱을 활성화하지 않아 캐시 적중률이 0이 되면 작업당 비용이 200달러 이상으로 급증한다.

• 작업을 무제한 지능 작업과 제한된 지능 작업으로 나누어 예산과 성능의 트레이드오프 결정을 내려야 한다.

타임라인

1. 00:00 - 02:49

   아티피셜 안나시스의 개요와 AI 스택 벤치마킹

   인공지능 생태계는 모델 자체뿐만 아니라 추론 방식, 비용, 속도, 캐시 적중률 등이 유기적으로 연결된 스택 구조를 가진다. 단순한 순위 막대그래프를 넘어 실제 프로덕션 환경 배포 시 마주하는 트레이드오프를 입체적으로 분석하는 것이 중요하다.

   • 아티피셜 안나시스는 모델 선택뿐만 아니라 추론 방식과 비용을 함께 다루는 독립적인 AI 벤치마킹 회사이다.
   • OpenAI, Anthropic, Google, NVIDIA 등의 주요 기업이 기술 도입 시 발생하는 트레이드오프 지표를 참고하고 있다.
   • 샌프란시스코 본사의 50명 규모 팀에서 배포 엔지니어, AI 연구원, ML 엔지니어를 채용하고 있다.
2. 02:49 - 06:53

   지능 지수와 AI 생태계 동향

   모든 유스케이스가 AGI 수준의 최고 지능을 필요로 하는 것은 아니므로 개발자는 목적에 맞는 모델을 선택해야 한다. 금융 및 회계 중심의 AA 애널리스트 에이전트 같은 개별 평가 결과를 통해 특정 영역에서 뛰어난 성능을 보이는 모델을 식별할 수 있다.

   • 지능 지수는 지식 기반 업무, 과학적 추론, 코딩 등 10가지 평가를 종합한 언어 모델의 일반 지능 지표이다.
   • 앤트로픽의 Opus 5.5가 지능 지수 선두를 달리고 있으며 웹사이트에는 500개 이상의 모델이 등록되어 있다.
   • 오픈 웨이트 모델은 선두 프라이어러타리 모델과 비교해 3개월에서 9개월 차이 이내의 성능 격차를 유지하고 있다.
3. 06:53 - 15:13

   에이전트 시대의 비용 구조와 캐싱의 중요성

   에이전트 환경에서는 메시지 기록이 누적되면서 입력 토큰과 턴 수가 급증하여 비용 구조가 복잡해진다. 특히 프롬프트 캐싱을 통해 입력 토큰 가격을 약 10배 할인받지 못하고 캐시 적중률이 0이 되면 작업 비용이 200달러를 초과하게 된다.

   • 최근 AI 모델들은 작업당 0.05달러 이하부터 5달러 이상을 넘는 수십 배의 비용 차이를 보인다.
   • 지능 지수 30 수준에 접근하는 비용은 1년 만에 약 10배 감소하여 현재 1센트에서 10센트 영역에 위치한다.
   • 에이전트 작업 비용을 결정하는 핵심 요인은 입력 토큰 수, 캐시 적중률, 그리고 작업당 턴 수이다.
4. 05:13 - 19:32

   비용과 지능의 트레이드오프 및 최적화 방법론

   빌더들은 예산과 성능 사이의 트레이드오프 곡선을 파악해 의사결정을 내려야 한다. 최근 출시된 옵티마(Optima) 제품을 통해 사용자는 자신의 맥락을 업로드하고 맞춤형 벤치마크와 트레이드오프 곡선을 제공받아 최적의 모델을 선택할 수 있다.

   • 작업은 더 높은 지능이 항상 유리한 무제한 지능 작업과 상한선이 존재하는 제한된 지능 작업으로 분류된다.
   • 작업의 요구 수준에 맞춰 파레토 차트 상에서 예산 대비 최적의 지능을 제공하는 모델을 선정해야 한다.
   • 규모가 작은 프로토타입 워크로드는 후보 모델을 직접 테스트하고 맞춤형 벤치마크를 생성하여 최적화해야 한다.