프로덕션 환경에서의 LLM 추론 라우팅: 엔진 시그널부터 정책까지 — Qianru Lao & Lu Zhang, OpenAI

추론 로드 밸런서(IRB)는 사용자 요청을 처리 가능한 형태로 전환하는 CPU 게이트웨이와 실제 모델을 실행하는 GPU 클러스터 사이에 위치한다. 초기 라우팅은 TTFT, TBT, 부하율, KV 캐시 상태 등을 수집한 후 PID 제어 방식의 비례 제어를 통해 엔진 가중치를 수동 개입 없이 자동 조정하는 방식이었다. 그러나 복잡한 신호 혼합으로 인해 특정 가중치 산출 원인을 추적하기 어렵고, 트래픽 이동 시 부하 변동에 따라 가중치가 요동치는 진동 현상이 발생하여 KV 캐시 재사용성이 크게 떨어졌다.

단순 라운드 로빈은 엔진 간 성능 차이나 위치, KV 캐시 지역성을 반영하지 못하며, 각 CPU 클러스터가 로컬 관점으로만 선택하면 특정 GPU 엔진에 과부하가 집중될 위험이 있다. 이를 해결하기 위해 전체 CPU 및 GPU 상태를 조망하는 제어 평면과 요청을 즉각 전달하는 데이터 평면을 분리했다. 제어 평면은 오프라인 회귀 분석과 실시간 신호를 결합해 최적의 라우팅 가중치를 비동기식으로 산출하며, 데이터 평면은 이 가중치를 로컬 캐시에서 즉시 읽어 라우팅을 수행함으로써 요청 대기 시간을 최소화한다.

트래픽 수요와 GPU 컴퓨팅 용량은 지역적으로 불균형을 이룬다. 인근 GPU 엔진이 포화 상태일 때 요청을 가까운 곳에 고집하면 엔진 대기 시간이 급증하므로, 물리적 거리가 멀더라도 여유가 있는 다른 지역의 GPU 엔진으로 보낼 때 엔드투엔드 처리 속도가 더 빨라진다. 옵티마이저는 CPU 클러스터 수요, 네트워크 RTT, 엔진 용량, TTFT 및 TPOT 지연 시간 프로필을 입력받아 모든 요청의 전체 지연 시간을 최소화하는 라우팅 가중치를 수학적으로 계산한다.

GPU 장애나 네트워크 이상 등 실제 프로덕션의 불확실성에 대비해 다중 보호 장치를 배치한다. 성능 저하가 감지된 엔진에는 라우팅 페널티를 부여해 트래픽을 줄임으로써 복구 시간을 벌어준다. 또한 장애 발생 시 재시도로 인해 부하가 폭증하는 '재시도 폭풍'을 막고자 전체 시스템 상태에 따라 가변적으로 작동하는 재시도 제한(Budget)을 둔다. 시스템 전체가 감당 가능한 한계를 넘어서는 초과 부하가 발생할 경우, 일부 트래픽을 선제적으로 차단하는 부하 차단을 실행해 전체 시스템이 마비되지 않고 안정적으로 작동하도록 유지한다.