레볼루트가 자체 호스팅 오픈 모델로 AI 코딩 비용을 90% 절감한 방법 - 데이비드 아비볼(David Abitbol), 레볼루트

하이라이트

• 레볼루트는 2,000명의 엔지니어를 지원하기 위해 전용 GPU 56개로 대형 오픈소스 모델을 자체 호스팅한다.

• 오픈소스 코딩 모델 GLM 도입 이후 엔지니어링 코딩 시간이 60% 단축되고 리드 타임이 70% 개선되었다.

• 자체 호스팅 모델의 혼합 토큰 비용은 백만 개당 0.30달러로 상용 API 비용의 10분의 1 수준이다.

• FP4 양자화는 FP8 대비 GPU 점유율을 40% 절감하면서도 정밀도 손실을 발생시키지 않는다.

• 지속적인 최적화를 통해 초당 요청 수가 76% 증가하는 동안 첫 토큰 생성 시간은 1.6초로 88% 단축되었다.

• 컴플라이언스 준수를 위해 중국산 가중치를 미국 기반 서비스에 올려 사용하며 제로 데이터 보존 정책을 적용한다.

타임라인

1. 00:00:12 - 03:00:00

   레볼루트의 엔지니어링 환경과 AI 도입 초기

   레볼루트는 빠른 제품 출시와 높은 엔지니어링 문화를 강조하는 유럽의 디지털 은행이다. 2025년 초 AI를 도입하면서 엔지니어들의 생산성이 향상되었으나 상용 모델의 비싼 토큰 비용 때문에 ROI에 대한 회의론이 존재했다. 이에 따라 비용 효율성을 높이고 제한된 토큰 제약을 풀기 위해 오픈소스 모델 자체 호스팅을 검토하기 시작했다.

   • 레볼루트는 45개 시장에서 8,000만 명의 고객을 보유한 유럽 최대의 비상장 디지털 은행이다.
   • 2025년 1월에 Gemini를 도입하여 코딩 시간이 20% 향상되었으나 초기 AI 비용은 엔지니어당 월 1,000달러를 상회했다.
   • 높은 비용 부담으로 인해 엄격한 예산 한도가 설정되었고 비용 절감을 위해 오픈소스 모델로 눈을 돌리게 되었다.
2. 03:00:00 - 06:00:00

   오픈소스 모델 자체 호스팅을 통한 성과와 비용 절감

   오픈소스 모델을 자체 호스팅하면서 엔지니어들은 토큰 부족에 대한 부담 없이 JIRA와 Confluence 관리 등 다양한 작업에 AI를 자유롭게 활용하게 되었다. 코딩 자체뿐만 아니라 전체적인 리드 타임이 대폭 단축되는 효과가 나타났다. 고정된 비용 구조를 통해 월말 요금 폭탄의 위험 없이 안정적인 운영이 가능해졌다.

   • 2026년 4월 도입한 GLM 5.1은 코딩 시간을 60%, 리드 타임을 70% 단축시키는 성과를 거두었다.
   • 엔지니어 2,000명을 지원하기 위해 B200 GPU 56개를 사용하여 대형 오픈소스 모델을 자체 호스팅한다.
   • 자체 호스팅 모델의 혼합 토큰 비용은 백만 개당 0.30달러로 기존 엔터프라이즈 API 비용의 10분의 1 수준이다.
3. 06:00:00 - 08:00:00

   추론 성능 최적화와 파라미터 튜닝

   단순히 가중치를 업로드하는 것만으로는 좋은 성능을 얻을 수 없으며 세부적인 파라미터 튜닝이 필수적이다. 요청 증가에 따른 병목 현상을 해결하기 위해 첫 토큰 생성 시간을 3초 미만으로 유지하는 것을 목표로 설정했다. 텐서 병렬화, 캐시 적중률 관리 등을 통해 하드웨어 자원의 효율성을 극대화했다.

   • 블랙웰 GPU 환경에서는 FP4 양자화가 정밀도 손실 없이 GPU 점유율을 40% 절감한다.
   • 최적화를 거쳐 초당 요청 수가 76% 증가하는 동안 첫 토큰 생성 시간은 1.6초로 단축되었다.
   • 긴 컨텍스트는 실제 필요에 맞춰 256k 수준으로 관리하며 높은 캐시 적중률을 유지해야 한다.
4. 08:00:00 - 011:44:00

   프로덕션 설정과 컴플라이언스 및 보안

   텍스트 전용인 GLM의 한계를 보완하기 위해 로컬 라우터를 두어 비전 작업은 다른 모델로 분기 처리한다. 엄격한 규제를 받는 유럽 은행으로서 중국산 모델 사용에 대한 우려는 가중치만 가져와 미국 및 유럽 기반 서비스에 올리는 방식으로 해결했다. 또한 샌드박스 내에서 승인 규칙을 설정해 무단 사용과 프롬프트 인젝션을 방지하고 강력한 오픈 텔레메트리로 로그를 감시한다.

   • 텍스트 전용 모델의 한계를 극복하기 위해 이미지 인식 작업은 별도의 모델로 라우팅한다.
   • 미국, EU, UK 등의 국가에서 제로 데이터 보존 정책을 따르는 GPU 제공업체를 활용한다.
   • 자율 에이전트의 위험을 방지하기 위해 샌드박스와 승인 절차를 도입하여 사람이 직접 개입하도록 통제한다.