더 빠른 모델이 정말 더 빠를까? 전체 작업 과정 테스트 — Morgan Suo, MiniMax

하이라이트

• 동시 요청 수가 32개에서 64개로 증가할 때 첫 번째 토큰에 대한 P95 대기 시간은 약 11.3초로 늘어난다.

• M3.1 플래시 모델은 키와 값의 정밀도를 8비트에서 4비트로 변경하여 저장하고 이동하는 데이터를 줄인다.

• 높은 추론 설정은 최대 추론 설정보다 더 적은 출력 토큰을 사용하지만 코딩 테스트 정확도는 80%에서 68%로 떨어진다.

• 내부 검토 작업은 14개의 기업 보고서를 아우르며 올바른 보고서 찾기, 동일 보고 기간 취합, 사업 부문 구분 임무를 수행한다.

타임라인

1. 00:00:00 - 03:57:00

   더 빠른 모델의 숨겨진 비용과 리서치 작업 기준

   사람들이 AI 애플리케이션을 워크플로에 구축할 때 속도 향상 이면에 숨겨진 비용을 고려해야 한다. 미니맥스의 최신 대형 언어 모델인 M3.1 플래시를 기반으로 14개의 기업 보고서를 분석하는 리서치 작업을 예로 들어 설명한다. 장부상의 이익 증가와 실제 현금 흐름의 차이를 파악하기 위해 모델은 현금 흐름표와 관련 주석을 정확히 가리킬 수 있어야 한다.

   • 새로운 모델이 속도를 빠르게 만들어주지만 중요한 출처가 누락되어 수정이 필요할 수 있다.
   • 리서치 작업의 사례로 AI 서버 수요 증가에 따른 회로 기판 공급 기업들의 현금 흐름 창출 여부를 분석한다.
   • 유용한 보고서는 분석가가 직접 검증할 수 있는 출처와 계산 과정을 제공해야 한다.
2. 03:57:00 - 10:18:00

   모델 내부 변경 사항과 어텐션·정밀도 최적화

   모델 연산을 줄이기 위한 기술적 변경 사항들을 살펴본다. 긴 입력 문서 내에서 중요한 각주나 팩트를 놓치지 않기 위해 희소 어텐션과 정보 검색 기능의 검증이 필요하다. 또한 KVCache의 정밀도를 변경하고 전문가 혼합 아키텍처의 연산 단계를 조절하여 효율성을 높이면서도 정확성을 유지하는 방법을 다룬다.

   • M3.1 플래시는 텍스트 블록의 점수를 매긴 뒤 선택된 블록의 활용도를 계산하는 희소 어텐션을 사용한다.
   • 키와 값의 정밀도를 4비트로 낮추어 데이터 저장과 이동을 줄이지만 특정 점수는 6.6% 하락하기도 한다.
   • 전문가 혼합 아키텍처에서 선택된 전문가들은 더 적은 가중치와 활성화 값을 사용한다.
3. 10:18:00 - 16:11:00

   서빙 설정과 추론 제어가 최종 대기 시간에 미치는 영향

   추측 디코딩 서빙 기법을 적용할 때 초안 작성과 검증에 소요되는 시간을 측정해야 한다. 동시 요청 수가 32개에서 64개로 증가할 때 대기 시간이 약 8배까지 늘어나는 현상을 통해 중앙값 외에 95% 요청의 대기 시간을 확인해야 함을 보여준다. 또한 사고 예산 설정에 따라 정확도가 달라지므로 작업에 적절한 설정을 적용해야 한다.

   • 동시 요청 수가 늘어나면 처리량은 증가하지만 첫 번째 토큰의 P95 대기 시간은 크게 길어질 수 있다.
   • 추론 제어 기능을 통해 모델이 사고하는 데 사용할 토큰 수를 조절할 수 있다.
   • 더 적은 토큰을 사용하는 높은 추론 설정은 코딩 테스트에서 더 낮은 정확도로 이어졌다.
4. 16:11:00 - 17:35:00

   리서치 워크플로 구성과 최종 결론

   모든 새로운 업데이트를 바탕으로 실제 연구 워크플로를 구성하는 방법을 정리한다. 모델 및 런타임 버전과 프롬프트 설정을 저장하여 결과를 재현할 수 있도록 준비한다. 궁극적으로 더 빠른 모델도 중요하지만 분석가에게 필요한 출처와 수치가 포함된 보고서를 제시간에 완성하는 것이 핵심이다.

   • 분석가가 보고서를 신뢰할 수 있도록 출처와 재무 수치를 재계산하고 검증해야 한다.
   • 데이터 검색, 도구 호출, 재시도 비용을 포함하여 보고서를 산출하는 데 들어간 모든 비용을 측정한다.
   • 가장 중요한 것은 모델의 속도가 아니라 그 모델로 완성된 작업을 제시간에 완료하는 것이다.