Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
في ظل قيود الأمان التي تمنع استخدام واجهات برمجة التطبيقات (APIs) الخارجية، يجب رفع نموذج 27B على خادمك الخاص. الميزانية لا تكفي لشراء بطاقة H100 باهظة الثمن، وتكاليف الرموز الشهرية تتزايد ككرة снежный (تتضخم باستمرار). تتناول هذه المقالة طرقاً عملية ومحددة لتوفير أكثر من 40% من ميزانية الأجهزة في بيئة محلية (On-Premises) ومنع هدر الرموز الناتج عن الحلقات اللانهائية.
لتشغيل نموذج 27B دون حدوث خط نفاد الذاكرة (OOM)، يجب حساب متطلبات الذاكرة العشوائية للبطاقة (VRAM) بدقة. بدلاً من شراء بطاقة Nvidia H100 واحدة بسعة 80GB، اربط بطاقتي RTX 4090 بسعة 24GB لإنشاء VRAM مدمجة بسعة 48GB. باستخدام هذه الطريقة، يمكنك خفض تكلفة إنشاء الأجهزة الأولية إلى النصف أو أقل.
--tensor-parallel-size 2 عند تشغيل vLLM لتوزيع العمليات ضمن نطاق ترددي PCIe.لا داعي للتمسك بجهاز واحد باهظ الثمن. يعد ربط بطاقات رسومية أرخص بشكل متوازٍ بديلاً واقعياً لفريق البنية التحتية الذي يعاني من ضغط الميزانية.
في الآونة الأخيرة، غالباً ما يفشل نموذج 27B في إخراج رمز الإنهاء عند معالجة منطق معقد، مما يدخله في حلقات لانهائية حتى الحد الأقصى لعدد الرموز. في بيئة واجهات برمجة التطبيقات التجارية وحدها، تجعل هذه المشكلة تكاليف التشغيل الشهرية غير قابلة للتحمل. يمكنك القضاء على هذا الهدر تماماً من خلال تعديل المعلمات فقط في محرك الخدمة المحلي.
repeat_penalty 1.15 و presence_penalty 0.1 لكبح تكرار الجمل المتشابهة.<|im_end|>, <|eot_id|>, و User: إلى مصفوفة stop في ملف الإعدادات لإجبار النموذج على عدم الاستمرار في التحدث إلى نفسه.temperature 0.2 و min_p 0.05 لمنع النموذج من لمس الرموز ذات الاحتمالية المنخفضة.من خلال تطبيق هذه الإعدادات، ينخفض متوسط عدد رموز الإخراج من 4,000 إلى 800 رمز. حتى مع تضمين تكاليف الطاقة وإهلاك المعدات، يمكنك التحكم في تكلفة التشغيل الشهرية لكل وحدة عند حدود 290 دولاراً.
في بيئة معزولة تماماً عن الشبكة الخارجية، تعد خطوط الأنابيب لإدارة الأوزان وتقديمها بشكل مستقر أمراً بالغ الأهمية. باستخدام vLLM، يمكنك فتح نقاط نهاية API بسرعة لا تقل عن الخدمات التجارية حتى داخل شبكة الشركة الداخلية.
huggingface-cli على جهاز مضفز (Bastion host) متصل بالإنترنت، واستخدم الخيار --local-dir-use-symlinks False لتنزيلها في هيكل ملف واحد.--enable-prefix-caching و --gpu-memory-utilization 0.92 لزيادة إمكانية إعادة استخدام سياق RAG ومنع تجزئة VRAM./metrics) باستمرار، وإذا تجاوز مؤشر vllm:gpu_cache_usage_factor 90%، قم بخفض --max-model-len فوراً من 16384 إلى 8192.الطريقة الوحيدة للتحكم في التكاليف مع الالتزام بسياسات أمان الشركة هي في النهاية البناء الذاتي ومراقبة المقاييس بنفسك.