Llama-Swap: 로컬 LLM의 가장 짜증 나는 문제를 해결해 드립니다

하이라이트

• Llama-Swap은 하나의 API 엔드포인트만으로 여러 로컬 LLM을 자동으로 교체하며 VRAM 자원을 관리합니다.

• 모델 필드 값만 변경하면 API 베이스 URL이나 클라이언트 설정 수정 없이도 QwenCoder에서 SmallLM2로 즉시 전환할 수 있습니다.

• Go 언어로 제작된 이 도구는 YAML 설정 파일을 통해 각 모델의 llama.cpp 플래그, GPU 레이어 배치, 컨텍스트 크기를 개별적으로 제어합니다.

• 각 모델에 설정된 유휴 유효 시간(TTL)이 지나면 Llama-Swap이 자동으로 모델을 언로드하여 GPU 메모리를 확보합니다.

• Llama-Swap은 OpenAI 및 Anthropic 호환 API 프록시 역할을 수행하며 llama.cpp, vLLM, Tabby API 등 다양한 백엔드를 지원합니다.

타임라인

1. 00:00 - 01:40

   로컬 LLM 워크플로우의 고질적인 불편함

   대부분의 로컬 LLM 개발자는 편리한 도구에서 시작해 결국 더 세밀한 제어권을 원하는 단계에 도달합니다. 이 과정에서 특정 모델을 종료하고 다른 모델을 실행하는 반복적인 작업이 발생합니다. Llama-Swap은 클라이언트와 모델 서버 사이에 위치하여 이러한 수동 전환 과정을 자동화하는 해결책으로 작동합니다.

   • 코딩용 대형 모델과 일반 채팅용 소형 모델을 교체할 때마다 서버를 수동으로 끄고 켜야 합니다.
   • 모델 교체 시 포트 변경, OpenAI 베이스 URL 업데이트, 재로딩 대기 과정에서 작업 흐름이 끊깁니다.
   • 정밀한 제어를 위해 순정 서버를 사용할수록 모델 간 전환 비용과 연결 실패 위험이 증가합니다.
2. 01:41 - 03:08

   Llama-Swap의 작동 원리와 실무 시연

   실제 시연에서 QwenCoder와 SmallLM2 두 가지 모델을 하나의 설정 파일로 관리하는 모습을 확인합니다. 사용자가 모델 필드 이름만 바꾸면 Llama-Swap이 보이지 않는 곳에서 기존 모델을 내리고 새 모델을 올리는 복잡한 제어 작업을 수행합니다. 이를 통해 Open WebUI나 Cursor 같은 도구의 설정을 매번 수정할 필요가 없어집니다.

   • 클라이언트는 오직 하나의 로컬 포트와 베이스 URL만 참조하며 모든 모델 요청을 수신합니다.
   • YAML 설정 파일에는 각 모델의 실행 명령어, 모델 파일 경로, 컨텍스트 크기, TTL 값이 정의됩니다.
   • 모델 요청이 들어오면 백엔드가 안정될 때까지 기다린 후 요청을 전달하며 클라이언트는 변화를 인지하지 못합니다.
3. 03:09 - 04:24

   기술 스택 및 주요 기능적 특징

   Llama-Swap은 단순한 프록시를 넘어 모델 서버의 생명주기를 직접 관리합니다. 사용하지 않는 모델이 GPU 메모리를 점유하지 않도록 TTL 기반의 언로드 전략을 사용합니다. 이는 사용자가 이전에 무엇을 실행했는지 기억할 필요 없이 설정 파일에 의존하여 시스템을 운영할 수 있게 합니다.

   • Go 언어 바이너리와 YAML 설정 파일 하나로 구성된 경량 허브 구조를 가집니다.
   • 모델이 이미 실행 중이면 요청을 즉시 전달하고 미실행 시에는 다른 모델을 중단시킨 후 새로 시작합니다.
   • 제한된 VRAM 환경에서 10~20개의 모델을 보유하더라도 유휴 모델 자동 언로드 기능을 통해 효율적으로 운용합니다.
4. 04:25 - 06:08

   기존 도구와의 차이점 및 적합한 사용자층

   Ollama나 LM Studio가 제공하는 편의성 대신 완벽한 백엔드 제어권을 제공하는 것이 목적입니다. 초기 설정 과정에서 직접 YAML 파일을 작성하고 GPU에 맞는 플래그를 찾아야 하는 번거로움이 존재합니다. 하지만 특정 모델 조합을 빈번하게 오가며 시간을 낭비하는 숙련된 개발자에게는 매우 강력한 생산성 도구가 됩니다.

   • 초보자용 모델 다운로더가 아니며 사용자가 직접 모델 파일과 GPU 플래그를 관리해야 합니다.
   • GUI가 없는 서버 중심 설계로 홈랩 서버, Docker 환경, 공용 머신 운영에 최적화되어 있습니다.
   • Cursor나 Continue 같은 코딩 에이전트를 사용하며 잦은 모델 교체가 필요한 개발자에게 유용합니다.