Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
ربما مررت بتجربة مشاهدة فيديو على يوتيوب، ثم إدخال أمر تثبيت النموذج في الطرفية (Terminal)، ليتجمّد الشاشة فجأة. السبب وراء تعطل نماذج اللغات الكبيرة (LLMs) المحلية على أجهزة ماك بوك القديمة ذات الذاكرة 8 أو 16 جيجابايت، أو اللابتوب الاقتصادية، ليس نقص أنوية المعالجة. السبب الحقيقي هو محاولة وقت التشغيل (Runtime) قراءة بيانات تتجاوز الحدود بينما يكون عرض النطاق الترددي للذاكرة ضيقاً للغاية. من خلال قياس النطاق الترددي للجهاز وضبط حجم السياق فقط، يمكنك تشغيل نموذج المساعدة في البرمجة والاستفادة منه حتى على الأجهزة القديمة.
تمنع أنظمة macOS وUbuntu الحديثة تثبيت الحزم عشوائياً على بايثون النظام. فبمجرد إدخال pipx install، ستظهر خطأ PEP 668 (error: externally-managed-environment) وتتوقف العملية. إذا قمت بفرض إلغاء حماية النظام عبر استخدام علامة (--break-system-packages) هرباً من الإزعاج، فستتداخل أدوات النظام الأساسية لاحقاً وتضطر لإعادة تثبيته بالكامل. استخدم أداة pipx التي تدعم عزل البيئات الافتراضية المستقلة لتثبيت أداة التشخيص.
قم بنشر أداة التشخيص مفتوحة المصدر llmfit التي طورها Alex Jones بشكل معزول لاستخراج مواصفات عتادك أولاً.
`bash
brew install pipx
pipx ensurepath
pipx install llmfit
mkdir -p ~/local-ai-workspace/{configs,logs,scripts}
llmfit --json system > ~/local-ai-workspace/logs/system_specs.json
`
بانتهاء هذه العملية في الطرفية، يتم تنظيم سعة ذاكرة الجهاز ومعلومات ناقل الذاكرة خلال دقيقة واحدة داخل ملف system_specs.json دون المساس بمكتبات النظام.
عملية توليد النصوص بواسطة نموذج اللغات المحلي هي عملية تسلسلية تعتمد على النظر إلى الرموز السابقة لتوليد الرمز التالي. في كل خطوة، يجب قراءة مليارات الأوزان الخاصة بالنموذج بالكامل من ناقل الذاكرة. وبعبارة أخرى، فإن السرعة المحسوسة لا تحددها سرعة تردد وحدة معالجة الرسومات (GPU)، بل رقم النطاق الترددي للذاكرة.
يتم حساب سرعة توليد الرموز في الثانية (TPS) بالمعادلة التالية:
TPS approx rac{ ext{Memory Bandwidth (GB/s)}}{ ext{Model Weights Size (GB)} + ext{KV Cache per Step (GB)}} imes etaقيمة في المعادلة هي كفاءة النطاق الترددي الفعلي (MBU) لوقت التشغيل وتكون عادةً في حدود 0.65.
إذا قمت بتحميل نموذج 7B مُكمّم بـ 4 بت (حوالي 4.5 جيجابايت) بالكامل على ذاكرة سطح مكتب عادية من نوع DDR4 بعرض نطاق ترددي يبلغ حوالي 45 جيجابايت/ثانية، ستتوقف سرعة المعالجة عند . ستلاحظ تقطيعاً في الحروف حرفاً بحرف، وهو ما يثير الإحباط عند استخدام النموذج للمساعدة في العمل الفعلي. في المقابل، عند التحميل على بطاقة RTX 4060 8GB بعرض نطاق ترددي 288 جيجابايت/ثانية أو ذاكرة موحدة من سلسلة M تتجاوز 100 جيجابايت/ثانية، ستصل السرعة إلى 35-40 رمزاً في الثانية، متجاوزةً سرعة الكتابة المباشرة بسهولة.
بعد التحقق من مواصفات جهازك، سنقسم النماذج المراد استخدامها إلى نوعين فقط:
Qwen2.5-Coder-7B-Instruct (Q4_K_M) بحجم 4.7 جيجابايت. ستحصل على أكثر من 35 TPS على لابتوب ماك بوك بذاكرة موحدة 16 جيجابايت أو كرت شاشة خارجي بذاكرة VRAM 8 جيجابايت.Llama-3.2-3B-Instruct (Q4_K_M) بحجم 2.0 جيجابايت. فهو يستهلك ذاكرة أقل حتى في بيئة DDR4 للأجهزة المحمولة منخفضة الطاقة ويولد باستمرار حوالي 15 TPS.حتى لو نجحت في تشغيل النموذج، ستجد أن العملية تتوقف بهدوء بعد تبادل بضعة أسئلة. يرمز ظهور Exit Code 137 في الطرفية إلى قيام مدير الذاكرة في نظام التشغيل (Linux OOM-Killer أو macOS JetSam) بإنهاء العملية قسراً (SIGKILL) بسبب نقص الذاكرة.
عند استخدام وحدة معالجة رسومات خارجية، تحدث مشكلة أكثر إزعاجاً وهي التحول الصامت للمعالج (Silent CPU Fallback). فعند تجاوز حدود ذاكرة VRAM، وبدلاً من إنهاء العملية، يتم نقل بعض طبقات الحساب إلى ذاكرة النظام البطيئة، وهنا ينهار معدل استخدام وحدة معالجة الرسومات وتهبط السرعة إلى حوالي رمز واحد في الثانية.
السبب الرئيسي وراء ذلك هو ذاكرة التخزين المؤقت لل مفتاح والقيمة (KV Cache) التي تلتهم الذاكرة كلما طالت المحادثة. استناداً إلى معمّر Llama-3، إذا تركت السياق مفتوحاً حتى 32,768 (32K) رمْز، فبالإضافة إلى أوزان النموذج البالغة 4.5 جيجابايت، سيتم إضافة 4.0 جيجابايت أخرى لذاكرة التخزين المؤقت وحدها. هذا يمثل تصميماً سينهار حتماً على أجهزة ال8 جيجابايت. أما إذا قمت بتقييد هذا الطول ليصبح 4,096 (4K) رمْز، فسينخفض حجم التخزين المؤقت إلى 512 ميجابايت، مما يمنع تعطل النظام حتى في بيئة 8 جيجابايت.
إليك خطوات التحقق من الحالة الحالية وتثبيت الحد الأقصى:
أولاً، أدخل ollama ps في الطرفية. إذا ظهر حقل PROCESSOR مقسماً مثل 30%/70% CPU/GPU بدلاً من 100% GPU، فهذا يعني أن ذاكرة VRAM قد امتلأت بالفعل وتم دفع العمل إلى الذاكرة البطيئة.
أنشئ ملف إعدادات لتثبيت حجم السياق. افتح المسار ~/local-ai-workspace/configs/Modelfile.coder واكتب المحتوى التالي:
`dockerfile
FROM qwen2.5-coder:7b
PARAMETER num_ctx 4096
PARAMETER temperature 0.2
`
قم بالبناء بالنموذج المخصص من خلال الطرفية:
`bash
ollama create custom-coder:7b -f ~/local-ai-workspace/configs/Modelfile.coder
`
بعد انتهاء البناء، اكتب sudo purge في الطرفية على نظام macOS لتفريغ ذاكرة التخزين المؤقت للقرص، ونظّم مثيلات WSL غير المستخدمة في ويندوز عبر الأمر wsl --shutdown لضمان توفير ما لا يقل عن 2 جيجابايت من الذاكرة المتاحة أساسياً.
لضمان عدم تسرب شيفرات المصدر الخاصة بالشركات أو المشاريع الشخصية إلى الخارج، قم بربط نقطة نهاية خدمة النموذج بـ الحلقة المحلية (Local Loopback 127.0.0.1).
أنشئ الملف ~/local-ai-workspace/scripts/serve_secure.sh وأضف الكود التالي:
`bash
#!/bin/bash
export OLLAMA_HOST="127.0.0.1:11434"
export OLLAMA_ORIGINS="http://127.0.0.1:*,http://localhost:*"
ollama serve > ~/local-ai-workspace/logs/ollama_runtime.log 2>&1 &
`
بعد تشغيل السكريبت، تحقق من أن عنوان الاستقبال يظهر بصيغة 127.0.0.1:11434 عند إدخال الأمر lsof -i :11434 | grep LISTEN في الطرفية. إذا ظهر العنوان المتاح للخارج 0.0.0.0:11434، يجب إغلاق العملية فوراً.
استخدم إضافة Continue.dev الخاصة ببرنامج VS Code للربط. افتح ملف الإعدادات (~/.continue/config.json) وافصل بين نموذج الدردشة ونموذج الإكمال التلقائي:
`json
{
"models": [
{
"title": "Local Qwen2.5-Coder (Chat)",
"provider": "ollama",
"model": "custom-coder:7b",
"apiBase": "http://127.0.0.1:11434"
},
{
"title": "Local Llama3.2 (Summary)",
"provider": "ollama",
"model": "llama3.2:3b",
"apiBase": "http://127.0.0.1:11434"
}
],
"tabAutocompleteModel": {
"title": "Local Autocomplete",
"provider": "ollama",
"model": "qwen2.5-coder:1.5b",
"apiBase": "http://127.0.0.1:11434"
},
"allowAnonymousTelemetry": false
}
`
خصص نموذج 7B الذي قمنا بتقييد سياقه للتو للإجابة على الأسئلة، وعيّن نموذج qwen2.5-coder:1.5b الخفيف للغاية بحجم 1 جيجابايت للإكمال التلقائي في علامات التبويب. وبهذا تختفي تأخيرات الإكمال التلقائي.
يتم التحقق من خلال قطع الاتصال بالإنترنت. افتح الطرفية وأنت في حالة عدم الاتصال (وضع عدم الاتصال بإيقاف تشغيل Wi-Fi) وقم بإرسال استعلام مباشر:
`bash
curl -s -X POST http://127.0.0.1:11434/api/generate -d '{
"model": "llama3.2:3b",
"prompt": "اختبار شبكة العزل المحلية",
"stream": false
}' | grep "response"
`
إذا عادت استجابة JSON سليمة أثناء حظر الاتصال، فهذا يعني أنك أكملت إعداد بيئة التطوير التي تعمل بأمان داخل موارد لابتوبك فقط دون أي اعتماد على السحابة الخارجية.