ذكاء نتفليكس الاصطناعي يحذف أي ممثل من أي مشهد (شرح نموذج VOID)
원제 · This Netflix’s AI Model Removes Any Actor From Any Scene (VOID Model Breakdown)
핵심 요약
يعالج نموذج VOID من نتفليكس قصور أدوات مسح الفيديو التقليدية عبر فهم السبب والنتيجة الفيزيائي وإعادة توليد المشهد بناءً على واقع بديل لا وجود فيه للكائن المحذوف.
하이라이트
نموذج VOID هو إطار عمل مفتوح المصدر من نتفليكس يرمز إلى Video Object and Interaction Deletion.
يعتمد النموذج على نظام مكون من مرحلتين يجمع بين نماذج اللغة البصرية وSAM2 لتحديد الكائنات وتأثيراتها الفيزيائية.
يستخدم VOID تقنية القناع الرباعي (Quad Mask) لإعادة كتابة فيزياء المناطق المحيطة بالكائن المحذوف بدلاً من مجرد مسح البكسلات.
تدرب النموذج على آلاف المحاكاة الفيزيائية في بيئات اصطناعية مثل Kubrick لتعلم العلاقة بين وجود الأجسام وتأثيرها على البيئة.
تتطلب عملية التشغيل الناجحة معالج رسومات قوي مثل H100 ومساحة حاوية لا تقل عن 100 جيجابايت مع الوصول إلى نماذج SAM3 وGemini API.
يعالج النموذج مشكلة التفاعلات الشبحية (Ghost Interactions) مثل دوران الخلاط الفارغ بعد حذف الشخص الذي كان يستخدمه.
타임라인
قصور أدوات المسح التقليدية ومشكلة التفاعلات الشبحية
تعتمد الممحاة التقليدية في الفيديو على خاصية الملء المدرك للمحتوى التي تعمل جيداً مع العلامات المائية أو الأشخاص الساكنين. تظهر المشكلة الحقيقية عند حدوث تفاعلات فيزيائية معقدة في المشهد. يؤدي المسح التقليدي إلى ظهور خلاط يدور أو أشياء تتحرك في الهواء دون مسبب مادي واضح.
- تكتفي أدوات المسح القياسية بتخمين البكسلات المحيطة لسد الفجوات الناتجة عن الحذف.
- تفشل النماذج الحالية في إزالة العواقب الفيزيائية لوجود الأجسام مثل تساقط دبابيس البولينج دون سبب.
- تظل الأجسام المتفاعلة في المشهد تعمل بشكل غير منطقي بعد إزالة الفرد المحرك لها.
آلية عمل نموذج VOID والمرحلتين التقنيتين
يبدأ العمل بتحليل بصري عميق يسأل فيه الذكاء الاصطناعي عن التغييرات الضرورية في حال غياب جسم معين. تمر العملية بمرحلة توليد اللقطات الجديدة ثم مرحلة تحسين اختيارية لضمان ثبات الأجسام الصلبة واتساق الفيزياء. جُمعت بيانات التدريب من محاكاة اصطناعية تقارن بين نسختي فيديو بوجود الاصطدام وبدونه.
- يستخدم VOID نموذج SAM2 لتتبع الكائنات بدقة بكسلية عالية.
- تحدد مرحلة التفكير التغييرات المطلوبة في البيئة المحيطة عبر إنشاء القناع الرباعي.
- تعمل خاصية ضوضاء تشويه التدفق على تثبيت الأشكال ومنع ضياع ملامح الأجسام المتبقية.
متطلبات الإعداد الفنية وتحديات التوثيق
تتضمن عملية الإعداد خطوات معقدة تشمل نسخ مستودعات الأكواد وطلب أذونات خاصة لاستخدام نماذج مقيدة. تبرز أهمية تسمية الأقنعة بدقة مثل quad_mask_0.mp4 لضمان عمل البرنامج. يسهل استخدام واجهة مستخدم رسومية مخصصة الربط بين مراحل التقسيم والاستدلال والتوليد النهائي.
- يتطلب تشغيل النموذج معالج رسومات سحابي متطور وتوسيع سعة التخزين.
- يعاني توثيق النموذج في GitHub من ثغرات تتعلق بتسمية الملفات ونماذج SAM3 المطلوبة.
- تحتاج عملية الاستدلال الدقيق إلى مفتاح Gemini API لتحديد تقدير الوضعية.
نتائج الاختبارات العملية في مشاهد سينمائية
أظهر اختبار حذف إيما ستون كفاءة عالية في التعامل مع الحركة، بينما كشف اختبار فيلم تيتانيك عن صعوبات في إزالة اليد الممسكة بذراع الممثلة. يعتمد نجاح الحذف على دقة تحديد نقاط التقسيم في المرحلة الأولى وطبيعة التفاعل في الفيديو. تفتح هذه التقنية آفاقاً لتجارب تفاعلية في المحتوى السينمائي تسمح بتغيير الرواية بناءً على خيارات المستخدم.
- حقق النموذج أفضل النتائج في مشهد الرقص من فيلم La La Land بانتقالات سلسة للغاية.
- تظهر عيوب بصرية مثل الأطراف المتبقية وتغير ملامح الوجه في المشاهد ذات التلامس المباشر.
- يظل تأثير الوادي الغريب حاضراً عند محاولة إعادة بناء الأجزاء المخفية من جسم الممثل المتبقي.
설명
أطلقت نتفليكس مؤخراً VOID، وهو إطار عمل رائد للذكاء الاصطناعي لا يكتفي بمجرد مسح العناصر، بل يفهم فعلياً السبب والنتيجة لإعادة كتابة فيزياء المشهد المحيطة. بينما تترك أدوات الذاء الاصطناعي القياسية غالباً "تفاعلات شبحية"، سنغوص في أعماق نظام الاستنتاج ثنائي المراحل الخاص بـ VOID، كما سنعرض تطبيق ويب مخصصاً قمنا ببنائه لتبسيط سير العمل بالكامل. شاهدونا ونحن نضع هذا النموذج قيد الاختبار عبر محاولة مسح الممثلين من مشاهد شهيرة في أفلام The Matrix و Titanic و La La Land لنرى ما إذا كانت هذه التقنية قادرة حقاً على إعادة تصور واقع مغاير. 🔗 روابط ذات صلة مستودع نموذج VOID: [https://github.com/Netflix/void-model](https://github.com/Netflix/void-model) تطبيق الويب الخاص بنا لـ VOID: [https://github.com/andrisgauracs/netflix-void-web-app](https://github.com/andrisgauracs/netflix-void-web-app) ❤️ المزيد عنا أفضل حزمة مراقبة تقنية بشكل جذري: [https://betterstack.com/](https://betterstack.com/) دروس مكتوبة: [https://betterstack.com/community/](https://betterstack.com/community/) مشاريع تجريبية: [https://github.com/BetterStackHQ](https://github.com/BetterStackHQ) 📱 حساباتنا الاجتماعية تويتر: [https://twitter.com/betterstackhq](https://twitter.com/betterstackhq) إنستغرام: [https://www.instagram.com/betterstackhq/](https://www.instagram.com/betterstackhq/) تيك توك: [https://www.tiktok.com/@betterstack](https://www.tiktok.com/@betterstack) لينكد إن: [https://www.linkedin.com/company/betterstack](https://www.linkedin.com/company/betterstack) 📌 الفصول: 00:00 ما هو Netflix VOID؟ 01:05 كيف يفهم VOID الفيزياء 02:06 شرح آلية العمل ثنائية المراحل 03:19 تدريب الذكاء الاصطناعي بالواقع الاصطناعي 03:56 إعداد وحدات معالجة الرسومات السحابية (Cloud GPU) 04:48 استخدام تطبيق الويب لـ VOID 06:24 اختبار VOID: فيلم The Matrix 08:56 اختبار VOID: فيلم La La Land 09:38 اختبار VOID: فيلم Titanic 10:52 مستقبل الفيديو التفاعلي