vLLM 설정 이제 짐작으로 끝내기: RunPod에서의 LLM 벤치마킹 - 크리스 벨라(Chris Vela), RunPod

하이라이트

• 대다수의 개발자가 새로운 VLM 모델을 도입할 때 나이트릴 버전 대신 잘못된 버전을 사용하거나 컨텍스트 윈도우 크기를 잘못 설정하여 어림짐작으로 운영한다.

• 런팟(RunPod)의 벤치팟(BenchPod) 템플릿은 VLM 위에 구축되어 메트릭 시스템을 중앙집중화하고 설정을 빠르게 변경하여 벤치마킹을 수행할 수 있게 만든다.

• 배치 토큰의 개수를 늘리면 초당 참조 시간은 크게 변하지 않지만, 토큰 간 지연 시간은 유의미하게 감소한다.

• B300 노드 기준 Kimi K3 모델의 콜드 스타트 및 가중치 로드 시간은 약 9분이 소요된다.

• B300 노드를 플랫폼에서 사용할 경우 비용은 대략 한 달에 4만 달러 수준이다.

타임라인

1. 00:00 - 03:47

   VLM 벤치마킹의 현실과 어림짐작 운영의 문제점

   최신 VLM 모델에 대한 수요는 높지만 프로덕션 단계로 전환할 때 적절한 설정을 찾지 못하고 막연한 짐작에 의존하는 현상이 빈번하다. 신규 모델은 내부 레이어가 미완성 상태이거나 버전 호환성 문제가 있을 수 있으므로 곧바로 실서비스에 적용하면 문제가 발생한다. 따라서 실제 서비스 목적과 트래픽 규모에 맞춘 세부적인 최적화가 선행되어야 한다.

   • 새로운 모델이 나올 때 사용자들은 구동 법이나 설정 노브 조절 방법을 모른 채 기본 설정이나 잘못된 버전을 그대로 사용한다.
   • Kimi K3 같은 모델을 출시 직후 프로덕션에 곧바로 올리면 심각한 환각 현상이 발생한다.
   • 궁극적으로 달성하려는 작업의 성격과 동시 사용자 규모를 파악한 뒤 KV 캐시 등의 최적화 설정을 고려해야 한다.
2. 03:47 - 06:51

   벤치팟(BenchPod)을 통한 중앙집중식 메트릭 관리와 복구

   수동으로 설정을 바꾸고 이미지를 재시작하는 과정은 시간을 낭비하게 만든다. 벤치팟은 이러한 고충을 해결하기 위해 중앙집중식 메트릭과 에러 스캔 기능을 제공하여 성능을 쉽게 검증할 수 있게 지원한다. 또한 자체 복구 기능이 탑재되어 있어 실제 프로덕션 환경에서 예기치 못한 노드 다운 발생 시에도 서비스 안정성을 유지한다.

   • 벤치팟은 VLM OpenAI 도커 이미지 기반으로 구축되어 모든 버전과 메트릭 시스템을 한눈에 볼 수 있게 해주는 템플릿이다.
   • 내부에 전체 워치독 기능이 포함되어 있어 인스턴스에 장애가 발생하더라도 자체 복구가 가능하다.
   • 가중치를 다운로드하고 GPU에 로드하는 콜드 스타트 시간은 약 9분이 소요된다.
3. 06:51 - 16:20

   설정 변경에 따른 성능 지표 분석과 배포 최적화

   동시 사용자 수를 1명에서 192명까지 늘려가며 테스트한 결과, 배치 토큰 수를 조절하는 것만으로도 작업 완료 속도를 대폭 끌어올릴 수 있다. 대규모 하드웨어 자원을 투입하기 전 철저한 벤치마크와 데이터 검증을 거치는 것이 효율적인 LLM 호스팅의 핵심이다. 서비스 제공자는 이러한 과정을 단순화하기 위해 벤치팟 같은 툴링과 테스트 환경을 제공한다.

   • 배치 토큰의 최대 개수를 늘리면 초당 참조 시간은 유지되면서 토큰 간 지연 시간은 크게 감소한다.
   • 최고 성능의 모델이 무조건 정답은 아니며 작업 성격에 맞추어 H200 기반 DeepSeek이나 Kimi 등을 선택해야 한다.
   • VLM 레시피의 기본 설정 대신 실제 부하 테스트와 지표 측정을 거친 뒤에 서비스 환경으로 확장해야 한다.