일반 하드웨어에서 7,440억 개의 AI 모델을 구동하는 초소형 도구 (colibrì)

하이라이트

• 칼리브리는 7,440억 파라미터 규모의 언어 모델 GLM 5.2를 소비자용 하드웨어에서 구동한다.

• GLM 5.2는 혼합 전문가(MoE) 아키텍처를 사용하여 토큰당 전체 파라미터의 약 5%인 40억 개만 활성화한다.

• 칼리브리는 시스템 메모리와 NVMe SSD를 계층화하여 디스크에서 필요한 전문가 모델을 실시간으로 스트리밍한다.

• 32GB RAM이 탑재된 M2 맥스 환경에서 외장 SSD를 사용했을 때 첫 토큰 생성까지 2분이 넘게 소요되었으며 토큰 속도는 초당 0.1개에 그쳤다.

• 64GB RAM과 RTX 5090이 탑재된 워크스테이션 환경에서는 첫 토큰 생성까지 17초, 초당 약 0.8개의 토큰 속도를 기록했다.

• 대형 모델 로컬 구동 시 성능을 좌우하는 핵심 요인은 그래픽카드가 아니라 RAM 용량과 디스크 전송 속도이다.

타임라인

1. 00:00 - 05:06

   초대형 모델의 로컬 구동 도전과 칼리브리 소개

   일반적으로 수백 기가바이트에 달하는 대형 모델을 실행하려면 거대한 서버가 필요하다. 그러나 칼리브리는 전체 모델 중 상시 필요한 밀집 구성 요소만 RAM에 유지하고, 나머지 전문가 모델은 SSD에 두어 필요할 때마다 스트리밍하는 방식을 사용한다. 이 시스템은 외부 종속성 없는 순수 C 언어로 작성되어 가볍고, 학습형 캐시와 다중 토큰 예측 헤드를 통해 효율성을 높였다.

   • 7,440억 파라미터를 가진 GLM 5.2 모델을 일반 하드웨어에서 로컬로 실행하는 도구인 칼리브리가 개발되었다.
   • GLM 5.2는 혼합 전문가 구조를 채택하여 토큰당 40억 개의 파라미터만 활성화한다.
   • 칼리브리는 GPU VRAM, 시스템 RAM, NVMe SSD를 계층 구조로 묶어 디스크에서 필요한 전문가 모델 조각을 실시간으로 불러온다.
2. 05:06 - 07:27

   맥북 환경에서의 테스트와 성능 한계 분석

   357기가바이트에 달하는 모델 용량을 감당하기 위해 초당 1기가바이트 속도의 외장 SSD를 사용했다. 첫 번째 질문에서는 캐시된 데이터가 없어 콜드 스타트가 발생했고, 속도는 초당 0.1개 토큰에 머물렀다. 컴퓨터의 연산 능력 자체는 충분하지만, 모델을 담을 RAM이 부족하여 느린 외장 드라이브와 디스크 대기 시간에 대부분의 시간을 허비하게 된다.

   • 32GB RAM과 M2 맥스 칩이 탑재된 맥북에서 외장 SSD를 통해 모델을 구동했다.
   • 브뤼셀이 수도라는 정확한 정답을 출력했으나 첫 단어 출력까지 2분이 넘게 소요되었다.
   • 프로파일링 결과 전체 소요 시간 중 80% 이상이 디스크 로딩 대기 시간에 소비되었다.
3. 07:27 - 11:32

   고사양 워크스테이션 테스트와 최종 결론

   내부 드라이브를 활용하고 더 넓은 RAM을 확보한 환경에서는 디스크 대기 시간이 절반으로 줄어들고 실제 연산 비율이 높아졌다. 벤치마크 결과 화려한 그래픽카드보다 1테라바이트에 달하는 대용량 RAM 서버가 모델 구동에 훨씬 더 유리하다는 점이 확인되었다. 소비자용 하드웨어에서 프론티어 모델을 실행하는 것은 가능해졌으나, 쾌적한 속도를 위한 실용적 장벽은 여전히 대용량 메모리이다.

   • 64GB RAM과 RTX 5090이 탑재된 워크스테이션의 내부 드라이브에서 테스트를 진행했다.
   • 첫 단어 출력까지 17초가 걸렸으며 초당 약 0.8개의 토큰 생성 속도를 기록했다.
   • 성능 향상의 주원인은 고성능 GPU가 아니라 더 많은 RAM과 빠른 내부 드라이브 덕분에 모델의 더 많은 부분이 메모리에 상주했기 때문이다.