Llama-Swap：ローカルLLMにおける「最高に面倒な問題」を解決する
BBetter Stack
Computing/SoftwareConsumer ElectronicsInternet Technology
Transcript
00:00:00ローカルモデルのセットアップは、別のモデルが必要になるまでは快適です。
00:00:04しかし、llamaサーバーを終了し、ポートを変え、OpenAIのベースURLを更新し、
00:00:10リロードを待ち、何も不具合が起きないことを祈る羽目になります。
00:00:13なぜなら、コーディング用モデルはチャットには重すぎ、軽量モデルは
00:00:18本格的なコードには力不足だからです。
00:00:19LlamaSwapがそれを解決します。
00:00:211つのエンドポイントで複数モデルを扱い、自動で切り替え、ツール側は変更に気づきません。
00:00:26これから数分で、そのセットアップ方法を解説します。
00:00:34ローカルLLM開発者の多くは、最終的に同じ壁に突き当たります。
00:00:37最初はOllamaやLM Studioなど、手軽に動く便利なものを使います。
00:00:44実際にちゃんと動くからです。
00:00:45正直、それらは非常に良くなっているので、素晴らしい選択肢です。
00:00:48しかし、次第により細かな制御が欲しくなってきます。
00:00:51llama.cppのフラグ、GPUレイヤーの配置、コンテキストサイズ、カスタムバックエンド、
00:00:59あるいは実験的なモデルを試したくなるのです。
00:01:01そこで生のllamaサーバーに近づくと、最高な気分になりますが、
00:01:06別の問題にすり替わっただけだと気づくことになります。
00:01:09今度はこんな作業の繰り返しです。
00:01:11llamaサーバーを終了してQwen Coderを起動し、5分後にはまた、
00:01:16何をしていますか？
00:01:17llamaサーバーを終了させているはずです。
00:01:18モデル間を常に行き来することになります。
00:01:20そのたびに待機や再接続、エラーが発生したり、気づかぬうちに違うモデルを
00:01:26使っていたりします。
00:01:27本当にやりたいのは、1つの窓口を固定し、背後でモデルを自在に
00:01:31入れ替えることですよね。
00:01:33その隙間を埋めるのが、llama-swapなのです。
00:01:36ワークフローを高速化するツールがお好きなら、ぜひチャンネル登録を。
00:01:39動画は随時公開しています。
00:01:41では、理屈を語る前に仕組みをお見せしましょう。
00:01:44現在、LlamaSwapはあるポートでローカル稼働しています。
00:01:48クライアントはこのベースURLだけを知ればよく、Qwen用や軽量LM用、
00:01:55埋め込み用とURLを分ける必要はありません。入り口は1つです。
00:01:58これが2つのモデルを定義した簡単な設定ファイルです。
00:02:02一方はQwen Coder、もう一方はSmallLM2です。
00:02:06それぞれに起動コマンドがあり、
00:02:09専用のモデルファイルが指定されています。
00:02:11コンテキストサイズも個別に設定できます。
00:02:14また、重要な違いとして、それぞれ個別のTTL（有効期限）も持っています。
00:02:19では、コーディング用モデルに何か聞いてみましょう。
00:02:22通常のOpenAI形式のチャットリクエストを送信します。
00:02:25modelフィールドはQwen Coderになっています。いいですね。
00:02:30ログを見てみましょう。
00:02:32バックエンドが正常になるのを待ち、リクエストを転送します。
00:02:36ここで注目すべきは、次の作業が「不要」だということです。
00:02:39URLの変更は不要。
00:02:41Open WebUIの再起動も不要。
00:02:43Cursorの設定編集も不要です。
00:02:46変更するのはフィールド1つだけです。
00:02:48モデルをQwen CoderからSmallLM2に変えるだけで、同じクライアントから別モデルに繋がります。
00:02:55モデルがTTLを超えて待機状態になると、LlamaSwapがアンロードしてVRAMを解放します。
00:02:59これだけのことです。
00:03:00これがすべての仕組みです。
00:03:02ツール側からは、1つのAPIと話しているように見えます。
00:03:04LlamaSwapが裏側で面倒な処理をすべて肩代わりし、状況を制御してくれます。
00:03:09いいですね。
00:03:10では、LlamaSwapとは何でしょうか？
00:03:11今デモでお見せした通りです。
00:03:12ローカルモデルのハブと考えてください。
00:03:13アプリが個別のモデルサーバーと直接やり取りする代わりに、
00:03:16LlamaSwapを経由します。
00:03:19するとLlamaSwapがmodelフィールドを確認し、挙動を決定します。
00:03:21モデルが稼働中なら、リクエストをそのまま転送します。
00:03:25動いていなければ、起動プロセスを開始します。
00:03:28別のモデルが邪魔なら、それを停止させます。
00:03:31そして、クライアントは通常通りのレスポンスを受け取ります。
00:03:3510分おきにベースURLを変更する必要はもうありません。
00:03:381つのバイナリ、1つの設定ファイル、1つの安定したエンドポイント。
00:03:41Go言語で書かれており、YAMLで設定します。
00:03:45OpenAIやAnthropic互換APIのプロキシとして機能し、
00:03:48llama.cpp、vLLM、TabbyAPIなどのフロントに置くことができます。
00:03:53ディスクに10個や20個モデルがあっても、VRAMに載るのが1、2個なら
00:03:59TTLが役立ちます。アイドル時間が長ければ、LlamaSwapがアンロードします。
00:04:05使っていないモデルにGPUを占領させず、
00:04:06次のリクエストのためにメモリを空けることができます。
00:04:08以前は稼働モデルを覚えておく必要がありましたが、
00:04:11今は設定ファイルがそれを覚えてくれます。
00:04:17ここで当然の疑問は、なぜOllamaやLM Studio、素のサーバーではダメなのか？です。
00:04:20答えは、それらで十分な場合もあるということです。
00:04:23LlamaSwapはそれらを完全に置き換えるものではありません。
00:04:25非常に特定の課題を解決するためのものです。
00:04:31Ollamaと比較すると、LlamaSwapはモデルストアでも
00:04:32ダウンローダーでも、初心者向けCLIでもありません。そこが目的ではないからです。
00:04:35重視しているのは「制御」です。
00:04:37自作のllama.cppビルドや特定のフラグを持ち込み、
00:04:40各モデルの起動方法を正確に決定できます。
00:04:47LM Studioとの比較では、よりサーバー重視でGUIを必要としません。
00:04:49開発用PC、ホームラボ、Docker、安定したAPIが必要な共有マシンに最適です。
00:04:50「ollama run llama3」のような手軽さはありません。
00:04:55モデルファイルを用意し、バックエンドを理解し、
00:04:57YAMLを書き、GPUに合うフラグを知っておく必要があります。
00:05:02自動でダウンロードや設定をしてくれるモデルギャラリーもありません。
00:05:07正直に言って、セットアップはかなり面倒です。
00:05:09しかし、一部の開発者にとって、これは特定の苦痛を解消します。
00:05:13使いたいモデルは決まっているのに、周辺の配線をし直すのに
00:05:15時間を浪費してしまうという苦痛です。
00:05:17Cursor、Continue、カスタムエージェント、ローカルスクリプト等を使っているなら
00:05:19試す価値はありますが、導入には手間がかかります。
00:05:22以上がLlamaSwapの紹介でした。
00:05:261つの安定したAPI、背後に控える複数のローカルモデル、自動切り替え、
00:05:29アイドルのアンロード、バックエンドの完全制御。
00:05:32核となるアイデアはシンプルです。
00:05:38クライアント側は、どのモデルサーバーが動いているかを気にせずに済み、
00:05:39LlamaSwapがそのすべてを処理します。
00:05:44こうしたツールがお好きなら、ぜひ登録をお願いします。
00:05:47ではまた、別の動画でお会いしましょう。
00:05:491つの安定したAPIエンドポイント、背後に控える複数のローカルモデル、
00:05:54自動切り替え、アイドル時のアンロード、バックエンドの完全制御。
00:05:56ここでの主な考え方はシンプルです。
00:05:58クライアントは、どのモデルサーバーが実際に動作しているかを気にする必要がなくなります。
00:06:02LlamaSwapがすべてを代行してくれます。
00:06:04このようなコーディングツールがお好きなら、ぜひ購読してください。
00:06:06それではまた、別の動画でお会いしましょう。