Model AI Netflix Ini Bisa Menghapus Aktor Mana Pun dari Adegan Mana Pun (Bedah Model VOID)

하이라이트

• Netflix merilis alat AI sumber terbuka bernama VOID (Video Object and Interaction Deletion) yang mampu menghapus objek sekaligus konsekuensi fisika dari interaksinya.

• VOID menggunakan sistem dua tahap yang menggabungkan Vision Language Model, Segment Anything Model 2 (SAM2), dan model difusi video untuk menciptakan realitas kontrafaktual.

• Peta khusus bernama Quad Mask digunakan untuk menginstruksikan model bagian mana yang harus dihapus dan area mana yang harus ditulis ulang logikanya.

• Data pelatihan model ini berasal dari ribuan simulasi fisika sintetis menggunakan lingkungan Kubrick untuk mempelajari hubungan sebab-akibat antar objek.

• Hasil pengujian pada adegan tari film La La Land menunjukkan penghapusan karakter yang hampir mulus bahkan saat terjadi oklusi antar subjek.

• Implementasi teknis memerlukan GPU cloud seperti H100, akses ke repositori SAM3, token Hugging Face, serta kunci API Gemini untuk estimasi pose.

타임라인

1. 00:00 - 01:45

   Keterbatasan Inpainting Video Standar

   Metode pengisian konten tradisional hanya fokus pada aspek visual tanpa memahami logika di balik pergerakan objek. Contoh nyata adalah pin bowling yang jatuh tanpa alasan setelah bola bowling dihapus dari cuplikan. Masalah ini menciptakan ketidakkonsistenan yang merusak realitas visual dalam produksi video.

   • Penghapus AI konvensional bekerja seperti fitur content-aware fill yang hanya memprediksi piksel di sekitar area yang hilang.
   • Model standar sering kali gagal menangani interaksi fisik, seperti membiarkan blender tetap berputar setelah operatornya dihapus.
   • Interaksi hantu terjadi karena AI mengabaikan hukum fisika dan hubungan antar objek di dalam adegan.
2. 01:46 - 03:19

   Mekanisme Penalaran Kausal dan Sistem Dua Tahap VOID

   VOID bekerja dengan membayangkan skenario di mana objek yang dihapus tidak pernah ada sejak awal. Sistem ini menanyakan dampak kausal, seperti bagaimana tumpukan domino bereaksi jika satu bagian diambil. Penggunaan flow warp noise opsional sangat penting untuk mengatasi instabilitas pada model difusi yang sering kali menyebabkan objek menjadi lembek atau kehilangan integritas strukturalnya.

   • Fase penalaran menggunakan SAM2 untuk pelacakan piksel dan AI untuk mengidentifikasi dampak penghapusan terhadap objek lain.
   • Quad Mask berfungsi sebagai panduan bagi model difusi untuk menulis ulang fisika di area sekitar objek yang dihapus.
   • Tahap kedua menggunakan flow warp noise untuk menjaga konsistensi bentuk objek yang tersisa agar tidak berubah bentuk.
3. 03:20 - 06:26

   Proses Pelatihan dan Infrastruktur Teknis

   Data dunia nyata sulit didapat untuk melatih penghapusan interaksi, sehingga simulasi komputer menjadi kunci utama. Secara teknis, dokumentasi GitHub yang tersedia masih memiliki celah informasi, seperti persyaratan nama file quad_mask_0.mp4 yang spesifik dan kebutuhan model SAM3 yang tidak terdokumentasi dengan baik. Aplikasi web khusus dibangun untuk menyatukan langkah segmentasi, inferensi, dan penyempurnaan dalam satu antarmuka.

   • Model dilatih menggunakan data sintetis dari lingkungan Kubrick yang mensimulasikan kejadian sebelum dan sesudah tabrakan fisik.
   • Instalasi memerlukan konfigurasi kontainer sebesar 100 GB pada GPU H100 dengan port spesifik 8998 untuk antarmuka web.
   • Integrasi API Gemini diperlukan untuk menghitung estimasi pose yang mendukung pembuatan Quad Mask secara presisi.
4. 06:27 - 10:31

   Analisis Hasil Uji Coba Film Matrix, La La Land, dan Titanic

   Keberhasilan VOID sangat bergantung pada kompleksitas adegan dan akurasi titik segmentasi yang dipilih oleh pengguna. Pada adegan Titanic, kegagalan menghapus tangan yang memegang lengan karakter disebabkan oleh kurangnya titik segmentasi pada area tersebut. Meskipun ada artefak sisa, kemampuan model untuk menghilangkan subjek secara keseluruhan dari latar belakang yang bergerak tetap tergolong kuat.

   • Penghapusan karakter dari adegan perkelahian The Matrix menghasilkan efek visual seperti melawan hantu dengan beberapa artefak pada tangan.
   • Uji coba pada film La La Land memberikan hasil terbaik dengan transisi antar karakter yang terlihat sangat alami dan konsisten.
   • Adegan Titanic menunjukkan efek uncanny valley di mana wajah karakter yang tersisa mengalami sedikit distorsi setelah pasangannya dihapus.
5. 10:32 - 11:42

   Potensi Penggunaan Masa Depan di Industri Hiburan

   Keterlibatan Netflix dalam pengembangan VOID mengisyaratkan ambisi untuk konten yang lebih adaptif. Kemampuan menghapus dan mengubah interaksi objek membuka peluang bagi kreator untuk memodifikasi adegan pasca-produksi tanpa perlu syuting ulang. Hal ini menandakan langkah maju dalam otomatisasi penyuntingan video yang berbasis pada pemahaman konteks, bukan sekadar manipulasi piksel.

   • Teknologi ini memungkinkan perubahan narasi video secara dinamis berdasarkan pilihan atau preferensi penonton.
   • Netflix berpotensi menerapkan alat ini untuk meningkatkan pengalaman interaktif seperti pada proyek Bandersnatch.
   • Pengembangan lebih lanjut dan pelatihan tambahan diprediksi akan menghilangkan artefak visual yang saat ini masih muncul.