12GB GPU에서 구동되는 초소형 Qwen 27B 모델

원제 · This Tiny Qwen 27B Model Runs on a 12GB GPU

8:512분 읽기Better Stack2026. 10. 24.컴퓨터/소프트웨어

핵심 요약

Underdog Saluki 27B 모델은 8GB 미만의 크기로 압축되어 일반 지능과 수학 능력은 희생되었지만, 툴 호출 성능에 집중하여 로컬 에이전트 환경에서 효율적으로 작동한다.

하이라이트

  • Underdog Saluki 27B 모델은 원본 55기가바이트 크기의 Qwen 27B를 7.9기가바이트로 압축하면서도 툴 호출 벤치마크 점수는 원본을 뛰어넘었다.

  • 이 모델은 10일 만에 약 40만 번 다운로드되었으며 가중치당 약 2.35비트로 양자화되었다.

  • 살루키의 툴 호출 벤치마크 점수는 88점을 기록하여 풀 사이즈 모델의 84점보다 높게 나타났다.

  • AIME 2025 수학 벤치마크에서는 원본이 96.7점을 기록한 반면 살루키는 79점으로 하락했다.

  • 실제 에이전트 루프 테스트에서 살루키는 입력 컨텍스트를 처리하는 프리필 단계의 병목 현상으로 인해 분당 약 10단계를 기록하며 가장 느린 속도를 보였다.

  • 살루키는 순정 Llama.cpp 및 Ollama와 호환되며 12GB RTX 3060 환경에서 원활하게 구동된다.

타임라인

  1. 초소형 Qwen 27B 모델의 등장과 기본 성능

    거대한 GPU가 필요한 원본 모델과 달리 살루키는 가중치를 가중치당 약 2.35비트로 낮추는 과감한 양자화를 거쳤다. 전반적인 성능을 유지하려는 기존 양자화 방식과 달리 툴 호출 성능 보존에 집중하여 올바른 도구 선택과 인자 전달 능력을 보여준다.

    • 원본 55기가바이트의 Qwen 27B 모델이 7.9기가바이트 크기의 Underdog Saluki 27B로 압축되었다.
    • 이 모델은 10일 만에 거의 40만 번 다운로드되었으며 툴 호출 성능이 크게 향상되었다.
    • llama.cpp 서버를 통해 GPU 오프로드, Flash Attention, 32,000의 컨텍스트로 실행된다.

  2. 벤치마크 결과와 불투명한 학습 세부 정보

    살루키는 각 센서에 적합한 양자화 유형을 탐색하는 RCO 기술 기반의 모델을 활용하여 크기를 더욱 줄였다. 풀 사이즈 모델의 84점보다 높은 88점의 툴 호출 점수를 기록했으나, 상세한 학습 정보가 공개되지 않아 성능 향상의 원인을 명확히 알 수 없다.

    • 살루키는 ista das lab의 기존 2비트 양자화 모델을 기반으로 제작되었다.
    • Underdog 자체 툴 호출 벤치마크에서 기존 2비트 모델은 76점, 살루키는 88점을 기록했다.
    • Underdog은 전체 학습 세부 정보를 공개하지 않아 양자화와 추가 튜닝의 기여도를 정확히 파악하기 어렵다.

  3. 호환성, 실행 속도 및 실제 한계

    12GB RTX 3060 등 상대적으로 사양이 낮은 환경에서도 구동되는 장점이 있으나, 일반 지능과 수학, 코딩 능력에서는 명확한 성능 저하가 나타난다. 또한 파일 크기가 작음에도 불구하고 프리필 단계의 한계로 인해 에이전트의 전체 작업 속도가 빨라지지는 않는다.

    • 살루키는 커스텀 포크가 필요한 다른 모델들과 달리 순정 Llama.cpp 및 Ollama와 호환된다.
    • 수학 벤치마크인 AIME 2025에서는 79점으로 하락했고 SWE Bench Verified도 30점으로 떨어졌다.
    • 프리필 단계의 병목 현상으로 인해 실제 에이전트 루프 테스트에서는 분당 약 10단계로 속도가 가장 느렸다.

설명

Underdog Saluki 27B is a new 7.9GB local AI model that compresses the original 55.6GB Qwen 27B model using aggressive 2-bit quantization, yet reportedly outperforms the full-size model at tool calling. But there's a catch. In this video, I test Saluki 27B locally using llama.cpp, parallel tool calls and JSON output, memory usage and inference performance, and show how such a heavily compressed LLM can achieve higher tool-calling benchmark scores while losing accuracy in math, coding, and reasoning. 🔗 Relevant Links Hugging Face - https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0 ❤️ More about us Radically better observability stack: https://betterstack.com/ Written tutorials: https://betterstack.com/community/ Example projects: https://github.com/BetterStackHQ 📱 Socials Twitter: https://twitter.com/betterstackhq Instagram: https://www.instagram.com/betterstackhq/ TikTok: https://www.tiktok.com/@betterstack LinkedIn: https://www.linkedin.com/company/betterstack 📌 Chapters: 00:00 Underdog Saluki 27B: A 7.9GB AI Model That Beats the Original? 00:35 Why Running Qwen 27B Locally Is So Difficult 01:10 Testing Saluki 27B with llama.cpp and Tool Calling 01:57 How 2-Bit Quantization Shrinks a 55GB AI Model 02:50 How Saluki 27B Outscored the Original Qwen Model 04:15 Saluki vs Unsloth, Ternary Bonsai 2, and Other Quantizations 05:10 Real-World AI Agent and Tool-Calling Benchmarks 06:18 The Catch: Math, Coding, Reasoning, and Performance Losses 07:20 Can We Trust Saluki 27B's Benchmark Results? 08:00 Should You Run Saluki 27B or a 4-Bit Qwen Model?

이 영상에 대해 글쓰기