Written with AI assistance from the source video. The video is the authority.
6:41Better Stack
Log in to leave a comment
No posts yet
オープンウェイトの小型マルチモーダルモデルは、ビジネスデータの学習ハードルを下げました。しかし、VRAM計算の誤差やオーディオ前処理の抜けによって訓練が途中で止まる状況が頻発します。ハードウェアの予算見積もりからオーディオ前処理パイプライン、性能検証の段階まで、実務で直接機能する実行方法を解説します。
メモリ不足エラーを防ぐには、総VRAM占有量()をモデルパラメータ、勾配、オプティマイザの状態、活性化関数（アクティベーション）、フレームワークのオーバーヘッドの合計として直接計算する必要があります。
標準的なAdamWオプティマイザは、学習パラメータごとに1次モーメントと2次分散をFP32の精度で保存するため、を消費します。8-bit AdamWライブラリを適用すると、この消費量をパラメータあたり約6バイトに削減できます。8BパラメータのモデルをFP16の精度でフルファインチューニングする場合、約120GBから140GBのVRAMが必要です。複数のA100 80GB環境が必須となる理由はここにあります。
単一GPU環境で予算を抑えるには、以下の手順に従います。
ノイズの混ざった生音声をそのままマルチモーダルエンコーダーに入力すると、損失関数が不安定になります。EBU R128標準に従って統合ラウドネスを-23 LUFS（誤差範囲1 LUFS以内）に合わせるか、最大ピークを-1.0 dBFSに設定して勾配爆発を防ぎます。
サンプリングレート()を16000 Hzに固定し、FFTウィンドウサイズを2048サンプルにします。ウィンドウのオーバーラップを60%から75%の範囲に維持するようにhop_lengthを512サンプルに指定し、1秒あたり100フレームを生成します。メルフィルタバンクは128チャンネルを適用し、対数圧縮を行います。
学習中のNaNテンソルによる異常終了を防ぐため、パイプラインの冒頭に以下の検証スクリプトを配置します。
`python
import os
import json
import torch
import torchaudio
from PIL import Image
def validate_multimodal_dataset(jsonl_path, min_audio_len=0.5, max_audio_len=30.0):
valid_records = []
corrupted_count = 0
with open(jsonl_path, 'r', encoding='utf-8') as f:
lines = f.readlines()
for idx, line in enumerate(lines):
try:
data = json.loads(line.strip())
audio_path = data.get("audio_path")
image_path = data.get("image_path")
text_label = data.get("text")
if not text_label or not isinstance(text_label, str) or len(text_label.strip()) == 0:
raise ValueError("Empty or invalid text label.")
if audio_path and os.path.exists(audio_path):
info = torchaudio.info(audio_path)
duration = info.num_frames / info.sample_rate
if duration < min_audio_len or duration > max_audio_len:
raise ValueError(f"Audio duration {duration:.2f}s out of bounds.")
waveform, sr = torchaudio.load(audio_path)
if torch.isnan(waveform).any() or torch.isinf(waveform).any():
raise ValueError("Audio contains NaN/Inf values.")
elif audio_path:
raise FileNotFoundError(f"Audio path not found: {audio_path}")
if image_path and os.path.exists(image_path):
with Image.open(image_path) as img:
img.verify()
with Image.open(image_path) as img:
img.convert("RGB")
width, height = img.size
if width < 10 or height < 10:
raise ValueError(f"Image resolution too small: {width}x{height}")
elif image_path:
raise FileNotFoundError(f"Image path not found: {image_path}")
valid_records.append(data)
except Exception as e:
corrupted_count += 1
return valid_records
`
学習率はモデル構造に応じて適切に設定する必要があります。フルファインチューニングは から の間、ランク のLoRAは から の間、QLoRAは から の間に設定します。全ステップの3%から5%の区間でLinear Warmupを適用し、その後はCosine Decayで減衰させます。
バッチサイズを4に下げても、gradient_accumulation_stepsを8に設定することで、実効バッチサイズを32に維持します。過学習を防ぐため、以下のHuggingFace Trainerの設定をそのまま適用します。
`python
from transformers import (
Trainer,
TrainingArguments,
EarlyStoppingCallback
)
training_args = TrainingArguments(
output_dir="./fine_tuned_multimodal_checkpoints",
num_train_epochs=5,
per_device_train_batch_size=4,
per_device_eval_batch_size=4,
gradient_accumulation_steps=8,
learning_rate=2e-4,
weight_decay=0.01,
warmup_ratio=0.03,
lr_scheduler_type="cosine",
logging_steps=10,
eval_strategy="steps",
eval_steps=100,
save_strategy="steps",
save_steps=100,
save_total_limit=3,
load_best_model_at_end=True,
metric_for_best_model="eval_loss",
greater_is_better=False,
fp16=True,
report_to="wandb"
)
trainer = Trainer(
model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=val_dataset,
data_collator=data_collator,
callbacks=[
EarlyStoppingCallback(
early_stopping_patience=3,
early_stopping_threshold=0.001
)
]
)
trainer.train()
`
eval_strategy="steps" と eval_steps=100 を設定し、100ステップごとに損失を追跡します。load_best_model_at_end=True を有効にして、検証ロスが最も低かった重みを自動的に保存します。EarlyStoppingCallback に early_stopping_patience=3 を指定し、検証ロスが連続3回改善しなかった場合に処理を直ちに停止します。モデルをデプロイする前に、ドメイン特化のプロンプト10種類を用いて応答品質を確認する必要があります。音声の時間軸上の位置特定、ノイズ環境下でのテキスト抽出、視覚的オブジェクトの状態分析、視覚と音声イベントの同時性、複合ターンによるマルチモーダル指示、ドメイン専門用語の処理、非音声の音響イベント推論、空間的関係の認識、ドメイン外のハルシネーション誘発検証、構造化データJSON出力テストを実施します。
オブジェクトのハルシネーションは、CHAIRフレームワークとPOPEフレームワークで測定します。
CHAIR_i = rac{ ext{ハルシネーションのあるオブジェクトインスタンス数}}{ ext{言及されたすべてのオブジェクトインスタンス数}}CHAIR_s = rac{ ext{ハルシネーションのあるオブジェクトを1つ以上含むキャプション数}}{ ext{評価されたキャプションの総数}}POPEフレームワークでは、Random、Popular、Adversarial Samplingの各クエリを通じてYes/No回答の正確性を測定します。本番環境に投入する前には、最初のトークン生成時間800ms以内の確保、秒間トークン生成速度30トークンの維持、vLLM変換後のJSON出力フォーマットの維持について最終確認を行います。