Netflix का यह AI मॉडल किसी भी सीन से किसी भी एक्टर को हटा सकता है (VOID मॉडल का विस्तृत विश्लेषण)
원제 · This Netflix’s AI Model Removes Any Actor From Any Scene (VOID Model Breakdown)
핵심 요약
नेटफ्लिक्स का VOID मॉडल वीडियो इनपेंटिंग में 'काउंटरफैक्चुअल रियलिटी' की कल्पना करके न केवल ऑब्जेक्ट्स को हटाता है, बल्कि उनके कारण होने वाले भौतिक प्रभावों और हलचल को भी पूरी तरह मिटा देता है।
하이라이트
VOID (वीडियो ऑब्जेक्ट एंड इंटरैक्शन डिलीशन) नेटफ्लिक्स और इनसाइट का एक ओपन सोर्स AI फ्रेमवर्क है जो हटाए गए ऑब्जेक्ट्स के आधार पर भौतिकी और कारण-प्रभाव को समझकर वीडियो को संशोधित करता है।
सामान्य AI इरेज़र के विपरीत, यह टूल डोमिनोज़ गिरने या ब्लेंडर के चलने जैसी जटिल भौतिक अंतःक्रियाओं को हटाए गए व्यक्ति या वस्तु के साथ गायब करने में सक्षम है।
प्रशिक्षण के लिए शोधकर्ताओं ने कुब्रिक (Kubrick) जैसे सिंथेटिक वातावरण का उपयोग करके हज़ारों भौतिकी सिमुलेशन के 'पहले' और 'बाद' के संस्करणों का डेटा इस्तेमाल किया।
तकनीकी संरचना में SAM2 (सेगमेंट एनीथिंग मॉडल 2), विज़न लैंग्वेज मॉडल और 'क्वाड मास्क' का उपयोग होता है जो डिफ्यूजन मॉडल को आसपास के क्षेत्र की भौतिकी फिर से लिखने का निर्देश देता है।
बेहतर विजुअल स्थिरता के लिए VOID में 'फ्लो वार्प नॉइज़' (flow warp noise) नामक एक वैकल्पिक दूसरा चरण है जो आकारों को हिलने या बदलने से रोकता है।
타임라인
वीडियो इनपेंटिंग की वर्तमान सीमाएँ और VOID का परिचय
मौजूदा मॉडल वॉटरमार्क या स्थिर वस्तुओं के लिए प्रभावी हैं, लेकिन चलते हुए दृश्यों में वे विसंगतियां छोड़ देते हैं। यदि कोई लड़की ब्लेंडर चला रही है, तो सामान्य AI लड़की को तो हटा देगा लेकिन ब्लेंडर को बिना किसी कारण के हिलता हुआ छोड़ देगा। VOID इस कमी को दूर करने के लिए कारण और प्रभाव के बीच के संबंध का विश्लेषण करता है।
- मानक AI इरेज़र केवल पिक्सल को भरने का काम करते हैं लेकिन भौतिक अंतःक्रियाओं को संभालने में विफल रहते हैं।
- VOID हटाए गए ऑब्जेक्ट के बिना एक वैकल्पिक वास्तविकता की कल्पना करके 'भूतिया अंतःक्रिया' (ghostly interaction) की समस्या को हल करता है।
दो-चरणीय प्रणाली और क्वाड मास्क तकनीक
सिस्टम तुरंत पेंटिंग शुरू करने के बजाय पहले यह सवाल पूछता है कि किसी वस्तु के हटने से दृश्य में और क्या बदलेगा। डोमिनोज़ के ढेर का उदाहरण इस तर्क को स्पष्ट करता है जहाँ एक डोमिनोज़ हटने पर पूरा गिरना प्रभावित होता है। दूसरे चरण में 'फ्लो वार्प नॉइज़' का उपयोग करके वीडियो डिफ्यूजन मॉडल के माध्यम से आकृतियों की निरंतरता और स्थिरता सुनिश्चित की जाती है।
- पहला चरण विज़न लैंग्वेज मॉडल और SAM2 के माध्यम से दृश्य के तर्क (reasoning) पर केंद्रित है।
- क्वाड मास्क (Quad Mask) डिफ्यूजन मॉडल को यह बताता है कि किन क्षेत्रों की भौतिकी को फिर से लिखना आवश्यक है।
सिंथेटिक डेटा से प्रशिक्षण और भौतिकी सीखना
प्रशिक्षण के लिए वास्तविक जीवन में कार क्रैश जैसे दृश्यों का उपयोग करना असंभव था, इसलिए कुब्रिक जैसे आभासी वातावरण का सहारा लिया गया। यहाँ AI को एक ही दृश्य के दो संस्करण दिखाए गए—एक वस्तु के साथ और एक उसके बिना। इस तुलनात्मक अध्ययन से मॉडल ने यह समझा कि कोई वस्तु अपने आसपास की चीज़ों को भौतिक रूप से कैसे प्रभावित करती है।
- मॉडल को वास्तविक फुटेज के बजाय हज़ारों सिंथेटिक भौतिकी सिमुलेशन पर प्रशिक्षित किया गया है।
- AI किसी वस्तु की उपस्थिति और उसके पर्यावरण पर पड़ने वाले प्रभाव के बीच संबंध को सीखता है।
कार्यान्वयन की चुनौतियाँ और कस्टम वेब ऐप का निर्माण
सॉफ़्टवेयर को सेटअप करने के लिए H100 जैसे शक्तिशाली GPU और 100 जीबी कंटेनर साइज़ की आवश्यकता होती है। आधिकारिक डेमो में ग्राफिकल यूजर इंटरफेस की कमी के कारण एक कस्टम वेब ऐप का निर्माण किया गया जो सेगमेंटेशन और इंफरेन्स चरणों को सुव्यवस्थित करता है। इसमें हगिंग फेस टोकन और गेटेड मॉडल्स तक पहुँच के लिए अनुमति की भी आवश्यकता होती है।
- गिटहब पर उपलब्ध आधिकारिक डॉक्यूमेंटेशन में SAM3 मॉडल और फ़ाइल नामकरण जैसी कई तकनीकी कमियाँ हैं।
- सटीक क्वाड मास्क जनरेशन के लिए जेमिनी API का उपयोग पोज़ एस्टीमेशन निर्धारित करने के लिए किया जाता है।
वास्तविक परीक्षण और परिणामों का विश्लेषण
मैट्रिक्स के सीन में मॉर्फियस एक अदृश्य फाइटर से लड़ता हुआ दिखाई देता है, जबकि टाइटैनिक में केट विंसलेट की बांह पर एक डरावना अवशेष हाथ दिखाई देता है। ला ला लैंड का परीक्षण सबसे सफल रहा जहाँ रयान गोसलिंग का अकेले नाचना पूरी तरह स्वाभाविक लगा। ये परिणाम दर्शाते हैं कि मॉडल की प्रभावशीलता वीडियो की प्रकृति और सेगमेंटेशन पॉइंट्स की सटीकता पर निर्भर करती है।
- ला ला लैंड के डांसिंग सीन में एम्मा स्टोन को हटाने पर परिणाम लगभग दोषरहित और निर्बाध प्राप्त हुए।
- जटिल दृश्यों जैसे द मैट्रिक्स या टाइटैनिक में बाहों के अवशेष या 'अनकैनी वैली' प्रभाव जैसी विसंगतियां देखी गईं।
설명
Netflix ने हाल ही में VOID पेश किया है, जो एक क्रांतिकारी AI फ्रेमवर्क है। यह सिर्फ वस्तुओं को मिटाता नहीं है, बल्कि सीन के आसपास की भौतिकी (physics) को फिर से लिखने के लिए कार्य-कारण संबंध (cause and effect) को समझता है। जहाँ सामान्य AI टूल्स अक्सर "घोस्ट इंटरैक्शन" (ghost interactions) छोड़ देते हैं, वहीं हम VOID के टू-पास रीजनिंग सिस्टम (two-pass reasoning system) का गहराई से विश्लेषण करेंगे और पूरे वर्कफ़्लो को आसान बनाने के लिए हमारे द्वारा बनाए गए एक कस्टम वेब ऐप को दिखाएंगे। देखिए कैसे हम The Matrix, Titanic, और La La Land के प्रसिद्ध दृश्यों से एक्टर्स को हटाने का प्रयास करके इस मॉडल का परीक्षण करते हैं, और जानते हैं कि क्या यह तकनीक वास्तव में एक वैकल्पिक वास्तविकता (counterfactual reality) की कल्पना कर सकती है। 🔗 संबंधित लिंक्स VOID मॉडल रेपो: [https://github.com/Netflix/void-model](https://github.com/Netflix/void-model) हमारा VOID वेब ऐप: [https://github.com/andrisgauracs/netflix-void-web-app](https://github.com/andrisgauracs/netflix-void-web-app) ❤️ हमारे बारे में और जानें बेहतर ऑब्जर्वेबिलिटी स्टैक: [https://betterstack.com/](https://betterstack.com/) लिखित ट्यूटोरियल्स: [https://betterstack.com/community/](https://betterstack.com/community/) उदाहरण प्रोजेक्ट्स: [https://github.com/BetterStackHQ](https://github.com/BetterStackHQ) 📱 सोशल मीडिया Twitter: [https://twitter.com/betterstackhq](https://twitter.com/betterstackhq) Instagram: [https://www.instagram.com/betterstackhq/](https://www.instagram.com/betterstackhq/) TikTok: [https://www.tiktok.com/@betterstack](https://www.tiktok.com/@betterstack) LinkedIn: [https://www.linkedin.com/company/betterstack](https://www.linkedin.com/company/betterstack) 📌 अध्याय (Chapters): 00:00 Netflix VOID क्या है? 01:05 VOID फिजिक्स (भौतिकी) को कैसे समझता है 02:06 टू-पास पाइपलाइन की व्याख्या 03:19 सिंथेटिक रियलिटी के साथ AI की ट्रेनिंग 03:56 क्लाउड GPU सेटअप 04:48 VOID वेब ऐप का उपयोग करना 06:24 VOID टेस्टिंग: The Matrix 08:56 VOID टेस्टिंग: La La Land 09:38 VOID टेस्टिंग: Titanic 10:52 इंटरैक्टिव वीडियो का भविष्य