대규모 LLM 추론 심층 분석 — Harshul Jain(Audible) & Tanmay Sah(독립 AI 연구원)

오디블의 하샬 진과 독립 AI 연구원 탄마이 샤가 진행하는 워크숍의 도입부이다. AI 사용이 급증함에 따라 하드웨어 한정과 높은 연산 비용으로 인해 추론 비용이 치솟고 있음을 지적한다. 세미애널리시스와 비즈니스 인사이더의 분석을 인용하여 토큰 사용량 감사와 예산 책정의 필요성을 강조한다. 또한 Mistral 7B 모델을 활용한 실제 데모를 통해 컨텍스트 길이가 길어질수록 메모리와 첫 토큰 생성 시간이 급격히 증가하는 고충점을 시각적으로 증명한다.

추론 파이프라인의 내부 작동 방식을 제1원칙부터 분석한다. 어텐션 메커니즘은 모든 이전 토큰에 대한 키, 쿼리, 밸류 벡터를 생성하므로 입력 크기가 커질수록 메모리 점유율이 폭발적으로 증가한다. GPU의 고대역폭 메모리(HBM)와 공유 메모리 간의 데이터 전송 메커니즘을 설명하며, 프리필 단계가 첫 토큰 생성 시간(TTFT)을 좌우하고 디코드 단계가 HBM 대역폭 한계에 묶이는 이유를 수학적 루프라인 플롯으로 규명한다.

탄마이 샤가 모델 최적화 세션을 이어간다. H100 같은 단일 GPU의 한정된 VRAM에 거대한 모델 가중치를 억지로 올리기 위한 양자화 전략을 다룬다. 행렬 연산 속도를 높이기 위해 쿼리, 키, 밸류 블록을 쪼개거나 병합하는 어텐션 변형 모델들을 비교한다. 멀티 헤드 어텐션, 그룹드 쿼리 어텐션, 멀티 쿼리 어텐션, 그리고 딥시크의 멀티 헤드 레이턴트 어텐션 간의 품질과 처리량 트레이드오프를 상세히 분석한다.

실제 프로덕션 환경에서 추론 솔루션을 서빙하기 위한 최적화 엔진과 기법들을 다룬다. KV 캐시를 효율적으로 관리하는 페이지드 어텐션과 여러 요청을 동적으로 묶는 연속 배치의 작동 원리를 설명한다. vLLM, SGLang, TensorRT-LLM의 벤치마크 결과를 비교하여 각 엔진의 특장점을 명시한다. 특히 에이전트 세션 라우팅과 반복적인 프롬프트 캐싱이 필요한 환경에서는 Radix 트리를 사용하는 SGLang이 최적의 선택임을 입증한다.