Llama-Swap：ローカルLLMにおける「最高に面倒な問題」を解決する

하이라이트

• Llama-Swapは1つのエンドポイントで複数のローカルLLMを管理し、リクエストのモデル名に応じて自動で起動と終了を制御する。

• YAML設定ファイルでモデルごとの起動コマンド、モデルファイルのパス、コンテキストサイズ、TTL（有効期限）を個別に指定できる。

• モデルが設定されたTTLを超えて待機状態になると、Llama-Swapが自動でアンロードを実行しVRAMを解放する。

• OpenAIおよびAnthropic互換APIのプロキシとして機能し、llama.cpp、vLLM、TabbyAPIなどのバックエンドをサポートする。

• Go言語で構築されており、単一のバイナリと1つの設定ファイルのみで動作する安定したハブとして機能する。

타임라인

1. 00:00 - 01:32

   ローカルモデル運用におけるワークフローの停滞

   OllamaやLM Studioは手軽だが、より詳細な制御を求めて生のllamaサーバーに移行すると、モデル切り替えのたびに手動操作が必要になる。Qwen Coderのような重いモデルと軽量モデルを使い分ける際、その都度サーバーを再起動する手間が生産性を低下させる。

   • 用途に応じてモデルを切り替える際、サーバーの終了やポート変更、URLの更新といった手動作業が頻繁に発生する。
   • コーディング用とチャット用など、特性の異なるモデルを並行して使う場合に待機時間や接続エラーが開発の障壁となる。
2. 01:33 - 03:09

   Llama-Swapによる一元管理の仕組み

   Qwen CoderとSmallLM2を定義した設定例では、それぞれのモデルに専用のコマンドとコンテキストサイズを割り当てている。CursorやOpen WebUIなどのツール側で設定を書き換える必要はなく、バックエンドが正常になるのを待ってから自動的に通信が開始される。

   • クライアントは単一のベースURLのみを参照し、リクエスト内のmodelフィールドを変更するだけでモデルが切り替わる。
   • 設定ファイルに記述された起動コマンドに基づき、Llama-Swapがバックエンドの準備状況を監視しリクエストを転送する。
3. 03:10 - 04:16

   ハブとしての機能とリソース最適化

   Llama-Swapはアプリと個別のモデルサーバーの間に立ち、調停役として振る舞う。10個以上のモデルをディスクに保持していても、VRAM容量に合わせて必要なものだけを動的にロードするため、メモリの占有を防ぎつつ複数のタスクをこなせる。

   • リクエストされたモデルが稼働していない場合、既存の不要なモデルを停止させてから新しいモデルを起動する。
   • TTL機能により、アイドル状態のモデルを自動アンロードしてGPUメモリを効率的に再利用する。
4. 04:17 - 06:08

   既存ツールとの比較と導入の判断基準

   利便性よりも「制御」に重点を置いており、独自のllama.cppビルドや特定の最適化フラグを使用したい開発者のニーズに応える。セットアップには手間がかかるものの、複数のローカルスクリプトやエージェントを運用する際の配線作業を完全に自動化できる。

   • Ollamaのような自動ダウンロード機能はなく、モデルファイルやGPUフラグを自ら管理する上級者向けのツールである。
   • GUIを持たず、Docker環境や共有サーバーなど、安定したAPIエンドポイントを必要とする環境に最適化されている。