나만의 AI 모델을 직접 실행하는 것이 API 비용을 지불하는 것보다 나은 순간 - 스티븐 라트레(Steven Latré), imec

하이라이트

• SWE-bench Pro 코딩 어시스턴트 벤치마크 테스트 결과, Kimi K3 모델은 86%의 작업 해결률을 기록했다.

• 소형 모델인 Qwen과 DeepSeek은 35%에서 40% 수준의 작업 해결률을 나타냈다.

• GLM 모델에서 Kimi K3 모델로 전환할 경우 정확도가 약 20% 향상되는 반면, GPU 대여 비용은 15%만 증가한다.

• 장기 호라이즌 작업에서 코딩 어시스턴트를 자체 인프라로 전환할 경우 약 25%의 총소유비용(TCO) 절감 효과를 거둘 수 있다.

• 고성능 하드웨어 시스템인 A100 계열에서는 단 15%의 GPU 활용도만으로도 자체 인프라 구축의 경제성을 확보할 수 있다.

• 서로 다른 하니스는 토큰 소비량에 엄청난 영향을 미치며, 코덱스 계열은 GLM 대비 생성 토큰의 절반만을 소모하여 GPU 구동 시간을 줄인다.

타임라인

1. 00:00 - 05:15

   AI 성숙도 단계와 인프라 전환의 필요성

   반도체 분야에서 영향력을 발휘해 온 아이맥은 시스템 영역과 워크로드 영역으로 연구를 확장하고 있다. AI 도입 초기에는 가장 뛰어난 최첨단 모델을 찾는 것에서 출발했으나, 토큰 기반 가격 정책과 소비량 급증으로 인해 점차 자체 스택을 통제하는 방향으로 이동하고 있다. 인프라를 직접 소유하는 단계에서는 모델 선택, 신뢰성, 하드웨어 아키텍처, KV 캐시 최적화 등 수많은 요소들을 고려해야 한다.

   • 아이맥은 첨단 반도체 연구개발뿐만 아니라 AI 워크로드와 인프라의 접점을 연구하고 있다.
   • 기업들은 폐쇄형 API 사용에서 시작해 비용 최적화와 오픈 웨이트 모델 호스팅 단계로 진화하고 있다.
   • 토큰 소비량이 급증함에 따라 자체 인프라를 소유하는 총소유비용 관점의 접근이 필요하다.
2. 05:15 - 10:07

   모델 성능과 하드웨어 비용의 상관관계

   장기 호라이즌 작업에 적합한 코딩 어시스턴트를 대상으로 다양한 하니스와 모델 조합을 벤치마킹했다. Qwen과 DeepSeek 같은 소형 모델은 35~40%의 해결률을 기록했으나, Kimi K3는 86%의 압도적인 해결률을 보였다. 모델을 전환할 때 필요한 하드웨어 아키텍처와 GPU 대여 비용은 선형적으로 증가하지 않으며, 특정 모델 선택이 하드웨어 요구 사항에 큰 영향을 미친다.

   • SWE-bench Pro 코딩 어시스턴트 벤치마크를 통해 수천 번의 실행 테스트를 수행했다.
   • 소형 모델은 35~40%의 해결률을 보인 반면, Kimi K3는 86%의 높은 해결률을 기록했다.
   • 모델 간 성능 차이에 비해 하드웨어 비용 증가 폭은 선형적이지 않고 계단식 형태를 띤다.
3. 10:07 - 14:33

   동시성과 총소유비용(TCO) 최적점 분석

   인프라 전환 시 시스템이 수용할 수 있는 동시 사용자 수와 메모리 및 KV 캐시 요구 사항을 함께 고려해야 한다. 거대 모델을 실행할 때는 동시 사용자가 크게 제한되며 지연 시간이 길어질 수 있다. 총소유비용 관점에서 분석한 결과, 하위 티어 모델은 89%라는 비현실적인 GPU 활용도가 필요한 반면, 고성능 하드웨어 시스템에서는 15%의 활용도로도 충분하여 코딩 어시스턴트 기준 약 25%의 비용 절감을 달성할 수 있다.

   • 인프라 기반 솔루션으로 전환할 때 메모리 제약과 KV 캐시 용량에 따른 동시성 문제가 중요하다.
   • 거대한 모델인 Kimi K3를 자체 실행할 경우 안정적인 동시 사용자는 약 4명에 불과하다.
   • A100 계열의 고성능 하드웨어에서는 15%의 GPU 활용도만으로도 인프라 전환의 타당성을 확보할 수 있다.
4. 14:33 - 18:25

   하니스의 영향과 향후 생태계 협력

   다양한 하니스를 적용했을 때 애플리케이션 성능 자체는 유사하지만, 자체 인프라 환경에서는 GPU 구동 시간이 비용 직결 요소로 작용한다. 코덱스 계열 하니스는 토큰 소비를 절반으로 줄여 GPU 비용을 크게 낮춘다. 단일 애플리케이션을 넘어 복잡한 기업 환경과 양자화, 추론 최적화 등을 지속적으로 추적하기 위해, 아이맥은 소프트웨어 개발자와 하드웨어·인프라 제공 업체를 아우르는 얼라이언스를 구축할 계획이다.

   • 서로 다른 하니스는 애플리케이션 정확도에 큰 차이를 주지 않지만 토큰 소비량에는 큰 영향을 미친다.
   • 코덱스 하니스는 GLM 대비 생성 토큰을 절반으로 줄여 GPU 구동 시간과 청구서를 절감한다.
   • 아이맥은 소프트웨어와 하드웨어 진영 간의 긴밀한 협력을 위해 새로운 얼라이언스를 출범할 예정이다.