Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
في بيئات المؤسسات، عندما تقوم فرق متعددة باستدعاء نماذج الذكاء الاصطناعي التوليدي في نفس الوقت، فإن بنية الوكيل المركزي تتسبب بسهولة في استنفاد خيوط المعالجة (Threads) بسبب آلاف الرموز (Tokens) المدخلة والمخرجة والجلسات الطويلة. لإزالة تأخير شبكة VPC المتبادلة الذي يتراوح بين 15 إلى 40 ميلي ثانية ومشكلة الجار المزعج (Noisy Neighbor) بين المستأجرين، يجب فصل مسار حركة المرور في وقت التشغيل (Runtime) ومستوى التحكم في السياسة المركزية فعلياً.
تصبح بوابة مركزية واحدة مركزاً للاختناقات في بيئات حركة المرور الكبيرة. من خلال إدخال هيكل ثنائي الطبقات (Two-Tier Topology)، يتم عزل نقل حركة المرور إلى مستويات بيانات خاصة بكل مجال بينما يتم الاحتفاظ بمستوى التحكم في المركز.
في بيئة Kubernetes، يتم تطبيق مواصفات Envoy AI Gateway 1.0 بشكل تعريفي. يتم إنشاؤء موارد Gateway في مساحة الأسماء (Namespace) لكل مجال تجاري لإنهاء حركة مرور HTTPS وربط BackendSecurityPolicy لمزامنة مفاتيح المصادقة الخاصة بالواجهة البرمجية (API) من خزنة الأمان المركزية. يتم تعريف موارد AIServiceBackend و AIGatewayRoute لقراءة معاملات النموذج في نص الطلب وتفريغ التوجيه.
حتى إذا حدث عطل في خادم السياسة المركزي أو العمود الفقري لشبكة الشركة، فإن كل مجال يتعامل مع حركة مرور الاستدلال دون انقطاع باستخدام سياسة التخزين المؤقت التي تم مزامنتها للتو. يتم توسيع إعداد حجم الرسالة لوحدة التحكم إلى 25 ميغابايت أو أكثر ويتم تثبيت دورة الاستطلاع (Polling) لمنع ارتفاع وحدة المعالجة المركزية (CPU Spike) بسبب عمليات إعادة التحميل المتكررة.
إذا تم جمع وقت الاستجابة الإجمالي (Turnaround Time) كمقياس واحد، فسيتم خلط أوقات الاستدلال للنماذج الكبيرة والصغيرة وسيتم إخفاء تدهور الأداء. عندما يرتفع مؤشر P99، للتمييز عما إذا كان ذلك عبارة عن زيادة حمولة طابور التحضير المسبق لبطاقة الرسوميات (GPU Prefill Queue) لمورد خارجي أم وقت انتظار القفل داخل البوابة، يجب قياس دورة الحياة بشكل منفصل في طبقة البرمجيات الوسيطة (Middleware).
قم كتابة البرمجيات الوسيطة مباشرة لجمع مقاييس الرسم البياني لبروميثيوس في خط أنابيب البوابة. التقط وقت دخول العميل باستخدام ASGI Middleware وحفظ معرف المستأجر ورأس مجال المسار في قيم الحالة. قم بتسجيل زمن انتقال طابور البرمجيات الوسيطة الداخلية في كائن Histogram ليتم جمعه في فترات تتراوح من 0.001 ثانية إلى 2.5 ثانية. أثناء عملية توجيه دفق عميل المنبع (Upstream)، يتم اكتشاف نقطة استقبال بايت الرمز الأول لمراقبة زمن وصول TTFT النقي للمورد كرسوم بيانية مستقلة.
وفقاً لحالات حوكمة البنية التحتية لشركة Uber، عندما يتم وضع زمن انتقال P99 لطابور البرمجيات الوسيطة الداخلية وزمن انتقال TTFT النقي لكل مورد خلفي جنباً إلى جنب على لوحة تحكم Grafana، تم تقصير وقت معالجة الاستجابة لخط أنابيب إنشاء ملخص استشارات العملاء بمقدار 6 ثوانٍ.
تقوم غالبية خوادم استدلال نماذج اللغة الكبيرة بمسح رمز الحالة 200 OK فوراً ثم إيقاف إرسال الحمولة (Payload) لعدة ثوانٍ حتى يتم تحميل ذاكرة التخزين المؤقت KV. لمنع المستخدمين من رؤية شاشة متوقفة، من الضروري تشغيل محرك وقت التشغيل الذي يكتشف في الوقت الفعلي التأخير في استقبال بايت الرمز الأول ويتحول إلى نموذج بديل.
قم بتنفيذ توجيه التراجع في وقت التشغيل (Runtime Fallback Routing) من خلال الجمع بين حلقة الأحداث غير المتزامنة ومنطق التحكم في التدفق. قم بتسريف قاموس التكوين (Configuration Dictionary) الذي يتضمن نقاط النهاية ورؤوس المصادقة للمورد الأساسي والمورد الثانوي، واضبط عتبة المهلة على 2.0 ثانية. استدع دفق المورد الأساسي باستخدام مكرر غير متزامن واستخدم وظيفة asyncio.wait_for للتحقق مما إذا كان الرمز الأول يصل خلال العتبة المحددة. عند حدوث مهلة، يتم إلغاء التدفق الأساسي فوراً لاستعادة المقابس والموارد، ويتم تحويل حركة المرور فوراً إلى دفق المورد الثانوي في حالة خالية من الخسائر حيث لم يتم تسليم حتى بايت واحد من الرموز إلى العميل في نهاية السلسلة.
وفقاً لبيانات معايير التحوط التكيفية (Adaptive Hedging Benchmark)، عند تشغيل طبقة نقل تولد طلبات نسخ احتياطي عند حدوث تأخير، انخفض زمن انتقال ذيل P99 من 64.3 ميلي ثانية إلى 17.0 ميلي ثانية، مما أظهر تأثير تقليل التأخير بنسبة 73.6 بالمائة. إنه يحمي تماماً وقت تعطل المستخدم المدرك حتى في حالات الفشل الجزئي للمورد الأساسي.
