Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
لقد أدت النماذج متعددة الوسائط الصغيرة ذات الأوزان المفتوحة إلى خفض حاجز الدخول لتدريب بيانات الأعمال. ومع ذلك، تتكرر المواقف التي يتوقف فيها التدريب في منتصف الطريق بسبب أخطاء حساب الذاكرة العشوائية (VRAM) أو إغفال المعالجة المسبقة للصوت. سنستعرض هنا استراتيجيات التنفيذ التي تعمل بشكل مباشر في البيئات العملية، بدءًا من تقدير ميزانية الأجهزة وحتى خط أنابيب المعالجة المسبقة للصوت ومراحل التحقق من الأداء.
لمعالجة أخطاء نفاد الذاكرة، يجب حساب إجمالي استهلاك الذاكرة العشوائية () مباشرة كمجموع لمعلمات النموذج، والتدرجات، وحالة المُحسِّن، والتنشيط، وتكاليف البنية الأساسية:
يستهلك مُحسِّن AdamW القياسي لأنها تخزن الزخم الأول والتباين الثاني لكل معلمة تدريب بدقة FP32. يؤدي تطبيق مكتبة 8-bit AdamW إلى تقليص هذا الاحتياج إلى حوالي 6 بايت لكل معلمة. يتطلب إجراء ضبط دقيق كامل لنموذج بحجم 8 مليارات معلمة بدقة FP16 ما بين 120 إلى 140 جيجابايت من الذاكرة العشوائية. ولهذا السبب يُفرض استخدام أجهزة A100 متعددة بسعة 80 جيجابايت.
لتوفير الميزانية في بيئة ذات وحدة معالجة رسومية واحدة (GPU)، اتبع الخطوات التالية:
إذا تم إدخال بيانات صوتية خام تحتوي على تشويش مباشرة إلى المفرغ متعدد الوسائط، فسوف تتذبذب دالة التكلفة. وفقًا لمعيار EBU R128، قم بمواءمة مستوى الصوت الإجمالي عند -23 LUFS ضمن هامش خطأ قدره 1 LUFS أو اضبط ذروة المستوى على -1.0 dBFS لمنع انفجار التدرجات.
ثبّت معدل أخذ العينات () عند 16000 هرتز واجعل حجم نافذة التحويل السريع لفريه (FFT) عند 2048 عينة. للحفاظ على تداخل النافذة بين 60% و75%، حدد hop_length بقيمة 512 عينة لإنشاء 100 إطار في الثانية. قم تطبيق بنك مرشحات Mel بعدد 128 قناة وإجراء الضغط اللوغاريتمي.
لمعالجة الإنهاء غير الطبيعي الناتج عن موترات NaN أثناء التدريب، ضع نص التحقق التالي في بداية خط الأنابيب:
`python
import os
import json
import torch
import torchaudio
from PIL import Image
def validate_multimodal_dataset(jsonl_path, min_audio_len=0.5, max_audio_len=30.0):
valid_records = []
corrupted_count = 0
with open(jsonl_path, 'r', encoding='utf-8') as f:
lines = f.readlines()
for idx, line in enumerate(lines):
try:
data = json.loads(line.strip())
audio_path = data.get("audio_path")
image_path = data.get("image_path")
text_label = data.get("text")
if not text_label or not isinstance(text_label, str) or len(text_label.strip()) == 0:
raise ValueError("Empty or invalid text label.")
if audio_path and os.path.exists(audio_path):
info = torchaudio.info(audio_path)
duration = info.num_frames / info.sample_rate
if duration < min_audio_len or duration > max_audio_len:
raise ValueError(f"Audio duration {duration:.2f}s out of bounds.")
waveform, sr = torchaudio.load(audio_path)
if torch.isnan(waveform).any() or torch.isinf(waveform).any():
raise ValueError("Audio contains NaN/Inf values.")
elif audio_path:
raise FileNotFoundError(f"Audio path not found: {audio_path}")
if image_path and os.path.exists(image_path):
with Image.open(image_path) as img:
img.verify()
with Image.open(image_path) as img:
img.convert("RGB")
width, height = img.size
if width < 10 or height < 10:
raise ValueError(f"Image resolution too small: {width}x{height}")
elif image_path:
raise FileNotFoundError(f"Image path not found: {image_path}")
valid_records.append(data)
except Exception as e:
corrupted_count += 1
return valid_records
`
يجب اختيار معدلات التعلم بناءً على بنية النموذج. عيّن الضبط الدقيق الشامل بين و، وLoRA برتبة بين و، وQLoRA بين و. قم بتطبيق Linear Warmup خلال نسبة تتراوح بين 3% و5% من إجمالي الخطوات، ثم اتبعها بتخفيض تدريجي باستخدام Cosine Decay.
حتى إذا قمت بتقليل حجم الدッチة إلى 4، فاجعل gradient_accumulation_steps مساويًا لـ 8 للحفاظ على حجم الدッチة الفعلي عند 32. ولمنع فرط التخصيص، طبّق إعدادات HuggingFace Trainer التالية:
`python
from transformers import (
Trainer,
TrainingArguments,
EarlyStoppingCallback
)
training_args = TrainingArguments(
output_dir="./fine_tuned_multimodal_checkpoints",
num_train_epochs=5,
per_device_train_batch_size=4,
per_device_eval_batch_size=4,
gradient_accumulation_steps=8,
learning_rate=2e-4,
weight_decay=0.01,
warmup_ratio=0.03,
lr_scheduler_type="cosine",
logging_steps=10,
eval_strategy="steps",
eval_steps=100,
save_strategy="steps",
save_steps=100,
save_total_limit=3,
load_best_model_at_end=True,
metric_for_best_model="eval_loss",
greater_is_better=False,
fp16=True,
report_to="wandb"
)
trainer = Trainer(
model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=val_dataset,
data_collator=data_collator,
callbacks=[
EarlyStoppingCallback(
early_stopping_patience=3,
early_stopping_threshold=0.001
)
]
)
trainer.train()
`
eval_strategy="steps" و eval_steps=100 لتتبع الخسارة كل 100 خطوة.load_best_model_at_end=True للاحتفاظ تلقائيًا بالأوزان التي سجلت أقل خسارة في التحقق.EarlyStoppingCallback قيمة early_stopping_patience=3 لإيقاف الحسابات فورًا إذا لم تتحسن خسارة التحقق لثلاث مرات متتالية.قبل نشر النموذج، يجب التحقق من جودة الاستجابة باستخدام 10 مطالبات مخصصة للمجال. ويشمل ذلك تحديد موضع المحور الزمني للصوت، واستخراج النصوص في بيئات الضوضاء، وتحليل حالة الكائنات المرئية، وتزامن الأحداث المرئية والصوتية، والتوجيهات متعددة الوسائط ذات الأدوار المعقدة، ومعالجة المصطلحات الفنية للمجال، والاستدلال على الأحداث الصوتية غير اللفظية، والتعرف على العلاقات المكانية، والتحقق من تحريض الهلوسة خارج المجال، واختبار إخراج بيانات JSON المهيكلة.
يتم قياس هلاوس الكائنات باستخدام إطاري عمل CHAIR وPOPE.
CHAIR_i = rac{ ext{عدد حالات الكائنات المهلوسة}}{ ext{إجمالي حالات الكائنات المذكورة}}CHAIR_s = rac{ ext{عدد التسميات التوضيحية التي تحتوي على كائن مهلوس واحد على الأقل}}{ ext{إجمالي التسميات التوضيحية المقيمة}}في إطار عمل POPE، يتم قياس دقة الإجابة بنعم أو لا من خلال استعلامات أخذ العينات العشوائية والشائعة والخصومية. قبل النشر في بيئة الإنتاج، تأكد نهائيًا من ضمان زمن إنشاء الرمز الأول في غضون 800 مللي ثانية، والحفاظ على سرعة إنشاء الرموز بمعدل 30 رمزًا في الثانية، والالتزام بمعايير تنسيق إخراج JSON بعد التحويل عبر vLLM.