오히려 비용이 더 많이 드는 저렴한 AI 모델 - Rayan Krishnan, Vals AI

하이라이트

• 기업의 전년 대비 AI 지출은 약 두 배로 증가했으나, 확립된 ROI를 달성한 비율은 7%에 불과하다.

• 앤스로픽의 2티어 모델인 Opus 5.5는 서류상으로는 더 저렴하지만, 세금 벤치마크 테스트에서 작업 완수를 위해 더 많은 토큰을 소모하여 결과적으로 14배 더 높은 비용을 기록했다.

• GitHub의 풀 리퀘스트 이력을 기반으로 에이전트에 동일한 작업을 수행시킨 결과, 코딩 모델의 비용을 90% 절감하면서도 동일한 결과물을 얻었다.

• 오픈소스 모델을 직접 호스팅하는 것이 항상 저렴하다는 직관과 달리, 추론에 최적화된 스택을 갖춘 특정 폐쇄형 소스 모델이 절반의 시간 동안 더 낮은 비용과 높은 성능을 기록했다.

• 평가 시스템을 구축하고 토큰 사용량을 최적화한 기업은 적정 규모 산정, 대량 구매 가격 협상, 지능형 라우팅, 사후 학습을 통해 AI 도입을 가속화할 수 있다.

타임라인

1. 00:20 - 03:34

   모델 카드와 실제 현업 성능의 괴리

   모델 출시 때마다 공개되는 벤치마크와 고수준의 수치는 모델의 대략적인 지능을 보여주지만 실제 현업에서의 적합성을 온전히 대변하지 못한다. 기업들의 AI 지출과 도입은 급증하고 있으나 정작 ROI가 어디에서 발생하는지 파악하지 못하는 경우가 많으며, 비용을 추적하는 그룹만이 ROI를 이해할 가능성이 높다. 결국 모델의 역량과 비용 효율성을 정확히 측정할 수 있는 평가 체계가 폭넓은 AI 도입의 선결 조건이다.

   • 파운데이션 모델 연구소들이 제공하는 모델 카드의 단일 수치는 모델의 경제적 영향을 어림잡아 파악하는 데 그친다.
   • 코딩이나 금융 등 특정 도메인과 작업 세트로 들어가면 성능의 들쭉날쭉한 경계가 훨씬 더 심해진다.
   • 전년 대비 기업의 AI 지출은 두 배로 늘었지만 확립된 ROI를 달성한 비율은 7%에 불과하며, 비용 추적 여부가 ROI 이해의 핵심이다.
2. 03:40 - 06:35

   비직관적인 모델 비용과 파레토 곡선

   연구소들이 제시하는 직관과 실제 현장 경험은 자주 일치하지 않는다. 2티어 모델이 서류상으로는 저렴해 보이지만 태스크를 완수하기 위해 토큰을 과다하게 소모하여 결과적으로 더 큰 비용을 발생시키는 경우가 대표적이다. 또한 엑셀 모델링 전체 성능과 특정 하위 작업인 LBO 범주의 성능 양상이 다르듯이, 기업은 자사에 가장 관련 있는 작업 하위 집합과 비용 대비 성능 최적화를 면밀히 파악해야 한다.

   • 앤스로픽의 2티어 모델인 Opus 5.5는 서류상 가격이 더 저렴함에도 세금 벤치마크에서 낮은 지능으로 인해 토큰을 더 소모하여 14배 더 비쌌다.
   • 금융 에이전트 벤치마크의 엑셀 모델링과 LBO 하위 카테고리를 살펴보면 고수준 EMB 결과와 실제 작업 양상이 일치하지 않는다.
   • 상위권 모델이라는 직관만 믿고 작업에 맞지 않는 모델을 사용할 경우 파레토 최적선에서 벗어나 초과 비용을 지불하게 된다.
3. 06:36 - 10:58

   벤치마크 구축 시 고려할 요소와 거시적 문제

   벤치마크를 직접 설계할 때는 올바른 평가 지표의 선택이 필수적이다. 점진적인 응답 생성에 능숙한 부분 점수 지표와 클라이언트 기준을 충족하는 완벽한 정답 지표는 서로 다른 결과를 낳는다. 아울러 실제 업무를 반영하는 타당성, 충분한 샘플을 통한 신뢰성, 최신 기술 수준을 구별하는 변별력이 뒷받침되어야 한다. 또한 샌드박스 탈출을 시도하는 보상 해킹이나 대규모 토큰 환경에서의 인프라 안정성, 단일 프롬프트를 넘어선 멀티턴 대응력 역시 평가 시스템에서 반드시 다루어야 할 과제다.

   • 정확도를 보고하는 지표로 부분 점수를 쓰는지 완벽한 정답인 답변 지표를 쓰는지에 따라 결론이 완전히 달라진다.
   • 타당성, 신뢰성, 변별력을 갖춘 미래 지향적 벤치마크를 구축해야 모델 간의 차이를 제대로 파악할 수 있다.
   • 에이전트가 문제를 해결하는 대신 테스트를 우회하는 보상 해킹 문제와 오랫동안 일관성을 유지해야 하는 인프라 구축의 어려움이 존재한다.
4. 10:59 - 15:20

   코딩 에이전트 사례 연구와 비용 절감 방안

   토큰 극대화 실험을 통해 막대한 비용을 지출한 이후, 팀은 평가 시스템을 구축하여 비용을 대폭 낮추는 데 성공했다. GitHub 저장소의 PR과 이슈 해결책을 활용해 시간을 거꾸로 돌려 에이전트에 작업을 맡겨본 결과, 어떤 모델이 불필요하게 과하고 비용이 많이 드는지 명확히 파악할 수 있었다. 이를 통해 오픈소스 모델 호스팅에 대한 고정관념을 깨고 최적의 모델을 조달하여 결과물을 유지하면서도 비용을 90% 절감했다. 궁극적으로 기업 내부에 축적된 이메일, 셰어포인트 등의 업무 이력은 평가를 위한 핵심 자산이자 AI 도입을 가속화할 열쇠가 된다.

   • 엔지니어들에게 무제한 토큰을 제공한 실험에서 한 달간 팀원 10~12명 규모로 150만 달러의 토큰 비용이 발생했다.
   • GitHub 풀 리퀘스트 이력을 기반으로 에이전트에 과거 작업을 수행시킨 결과, 비용을 90% 줄이면서도 동일한 결과물을 얻었다.
   • 오픈소스 모델 직접 호스팅이 무조건 저렴하다는 직관과 달리 추론에 최적화된 특정 폐쇄형 소스 모델이 더 저렴하고 우수한 성능을 냈다.