추론 엔지니어링의 새로운 기능 — 필립 키엘리, Baseten

추론 엔지니어링 분야는 빠르게 변화하지만 기반이 되는 핵심 원칙들은 이미 견고하게 자리 잡았다. 2026년 2월 출간 이후 수많은 엔지니어가 해당 원칙을 실무에 적용했다. 최신 추론 기술 발전 방향은 크게 양자화, KV 캐시 압축, 추측적 디코딩의 세 가지 영역으로 나뉜다.

로컬 추론은 하드웨어 제약으로 인해 성능 하락을 감수하더라도 배치 크기 1에서 지능 기준선을 복원하는 데 집중한다. 반면 데이터 센터 추론은 대규모 환경에서 vLLM 등을 우선 가동한 뒤 속도를 끌어올리는 전략을 쓴다. 추론 속도가 빨라질수록 더 많은 데이터를 확보해 나은 모델을 학습시키는 선순환 구조가 형성된다.

TurboQuant는 메모리 대역폭을 2배로 확장하여 메모리가 극도로 제한된 로컬 GPU 환경이나 긴 컨텍스트 구동 시에는 큰 이점을 제공한다. 하지만 프로덕션 데이터 센터에서는 추가 연산으로 인한 TPS 저하가 치명적인 병목으로 작용한다. 이에 따라 데이터 센터 워크로드에서는 가중치 양자화인 NVFP4를 채택하고, KV 캐시는 압축 대신 CPU 일반 메모리로 오프로드하는 방식을 적용한다.

백만 토큰 단위의 길이를 처리할 때 KV 캐시가 차지하는 메모리 부담은 선형적으로 증가한다. 기존 Attention Matching이나 Cartridges는 추론 시점에 압축을 수행하는 반면, STILL은 오프라인 학습을 통해 압축 연산 비용을 분할 상환한다. 생성된 압축 키와 값 세트는 LLM이 실제 컨텍스트처럼 즉시 참조할 수 있는 구조를 가진다.

기존 Eagle 3 방식이 타깃 모델의 은닉 상태를 기반으로 순차적 초안 토큰을 만들었다면, dFlash는 양방향 어텐션 마스크를 이용해 한 번의 순전파로 토큰 블록 전체를 예측한다. 양방향 어텐션 교차 검증 덕분에 수용률이 획기적으로 향상된다. 나아가 최신 연구 단계인 dSpark는 확산 모델과 시퀀셜 모델을 결합하여 추가적인 수용률 증가를 도모한다.

하드웨어가 출하되어 소프트웨어 스택에 완전히 반영되기까지는 일정 시간이 소요된다. 로컬 추론 기법을 데이터 센터 환경에 맞춰 변형하고 NVFP4 데이터 포맷 신뢰도를 높이면 Rubin 아키텍처 도입 시 성능 이점을 극대화할 수 있다. 프록시 및 디코딩 영역을 분리하는 PD 분리 구조와 추론을 고려한 학습 방법론이 향후 최적화의 주축을 이룬다.