Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
ベンチマークスコアだけを見て高精度のモデルをデプロイし、痛い目に遭ったことがあるだろう。VRAM容量を超えた瞬間、ウェイトの一部がシステムRAMに押し出され、PCIeバスのスワッピングが発生してトークン生成速度が秒間1個未満にまで急落する。RTX 4090環境を基準にGGUF Q4_K_Mフォーマットを使用すると、ウェイトメモリは18.3 GBを消費し、8Kコンテキスト基準で合計22.1 GBのVRAMを使用してようやく安定して動作する。
メモリの総量は、ウェイトメモリ、KVキャッシュ、フレームワークオーバーヘッドをすべて足し合わせて計算して初めて答えが出る。ウェイトはパラメータ数に量子化の実効ビットを掛けた後で8で割ると求められるが、EXL2 4.0 bpwフォーマットはパラメータあたり0.50バイトを消費する。ここにコンテキスト長に応じて膨らむKVキャッシュと、フレームワークオーバーヘッドの1.5 GB以上を加算すると、最低でも2 GBの余裕がないとOOMエラーを回避できない。
ステップ1として、自分のGPUのVRAM容量を確認し、ウェイトとKVキャッシュの占有率を計算する。ステップ2として、GGUF Q4_K_MやEXL2 4.0 bpwフォーマットのモデルファイルを取得してローカル環境に組み込む。ステップ3として、8K以上のプロンプトを入力したときにトークン生成速度が秒間30個以上維持されるかを30分以内に直接確認する。このプロセスを経ることで、ベンチマークの数字に振り回されず、手元のハードウェアで実際に動作するモデルを選ぶことができる。
30B未満のオープンソースモデルは、複雑なJSON構造を作成するように指示すると、大括弧を飛ばしたりマークダウントグを混入させたりするミスを犯す。モデルが的外れな回答を出力したという理由だけでバックエンドパイプライン全体が停止してしまっては、夜も安心して眠れない。トークン生成の段階で構文を強制し、アプリケーションレベルでパースエラーを捕捉する防御コードを同時に記述する必要がある。
llama.cpp環境ではGBNF文法を設定し、vLLMではGuided Decodingを使用してスキーマに適合しないトークンが生成されないように防ぐ必要がある。Pydanticライブラリを組み込んでモデル出력을データモデルにバインドし、JSONDecodeErrorが発生した場合はエラーの内容を会話履歴にフィードバックして自ら修正させるループを作る。無限ループを防ぐために試行回数を3回で打ち切り、それでも失敗した場合は静的な安全モードオブジェクトを返すFallbackアーキテクチャが不可欠である。
ステップ1として、Pydanticを使用して必須フィールドとデータ型が定義された検証スキーマクラスを作成する。ステップ2として、正規表現と例外処理ブロックを組み合わせてモデルの元の応答から純粋なJSON文字列だけを抽出し、パースエラーをリアルタイムで捕捉する。ステップ3として、tenacityライブラリでリトライロジックを組み込み、最後まで失敗した場合には静的なFallbackデータを返してサービスの停止を防ぐ。この構造を組み込んでおけば、ツール呼び出しスキーマの遵守率を95%以上に引き上げることができる。
Webインターフェースのコードを自動生成させたり、巨大なトランスクリプトファイルからデータをスクレイピングしたりする際、30B未満のモデルは中身を大幅に欠落させるという限界を露呈する。モデルが無駄な謝罪やマークダウンのコメントを延々と出力しないように仕向け、正確に意図した構造でのみ結果を出力させるようシステムプロンプトに制約を課さなければならない。
システムプロンプトに出力スキーマと制約条件を埋め込み、コンパイラのように動作させる必要がある。数十ページに及ぶドキュメントはモデルの最大安全コンテキスト長に合わせて2,000トークン単位で分割し、境界線のデータが失われるのを防ぐために、前のチャンクの最後の200トークンを次のチャンクの先頭に重ねて配置する必要がある。チャンクごとにデータをそれぞれ抽出するマップ段階を経た後、1つの構造体に統合するリデュース段階を経て、ようやく実用に耐える結果が得られる。
ステップ1として、システムプロンプトのテンプレートを作成して挨拶文の出力を禁止し、Tailwind CSSクラスの使用といった具体的な制約条件を組み込む。ステップ2として、入力ドキュメントを10%の重複区間を含むスライディングウィンドウ方式で分割する。ステップ3として、Strategy Patternを適用したLLMProviderInterfaceを実装し、必要に応じてモデルエンジンを容易に切り替えられる抽象化レイヤーを完成させる。このプロセスを適用すれば、不要なデバッグ時間を週に5時間以上削減することができる。
