Nutzung des VOID-Modells für Independent-Filmemacher, die nicht zum Set zurückkehren können
makedream٣٠ أبريل ٢٠٢٦
0
Computing/Software
Comments (0)
Log in to leave a comment
No posts yet
makedreammakedreamLog in to leave a comment
No posts yet
Das von Netflix-Forschern veröffentlichte VOID-Modell ist nicht einfach nur ein Werkzeug zum Entfernen von Personen. Es berechnet die physikalischen Kausalzusammenhänge – also wie sich Objekte, die an der Stelle des verschwundenen Objekts verbleiben, gemäß der Schwerkraft bewegen sollten. In der Welt des Independent-Films, wo Hauptdarsteller plötzlich aussteigen oder Urheberrechtsprobleme auftreten können, aber kein Budget für Nachdrehs vorhanden ist, ist diese Technologie buchstäblich ein Lebensretter.
Das VOID-Modell verbraucht enorm viel Speicher, um die Kontinuität zwischen den Video-Frames zu gewährleisten. Die 24 GB VRAM einer heimischen RTX 4090 reichen bei weitem nicht aus. Da mindestens 40 GB benötigt werden, sollten Sie, anstatt eine Workstation für zehntausende Euro zu kaufen, Instanzen bei RunPod oder Lambda Labs mieten. Stand 2026 lässt sich ein H100 PCIe-Modell für etwa 2,50 Dollar pro Stunde mieten. Das mag teuer erscheinen, ist aber im Vergleich zu den Kosten eines Nachdrehs praktisch geschenkt.
Das Setup dauert nur 30 Minuten. Wählen Sie im RunPod-Dashboard ein Template mit PyTorch 2.2.0 und CUDA 12.1 aus, um eine Instanz zu erstellen. Führen Sie im Terminal apt-get install ffmpeg aus, klonen Sie das offizielle Repository und installieren Sie die Abhängigkeiten – fertig. Laden Sie die Weight-Dateien unbedingt auf ein Netzwerk-Volume hoch. So sparen Sie Zeit und Kosten, die entstehen würden, wenn Sie bei jedem Neustart der Instanz Gigabytes an Daten erneut herunterladen müssten.
Das manuelle Erstellen von Umrissen per Rotoskopie ist die Hölle. Das VOID-Modell nutzt eine 4-stufige Quad-Mask-Struktur, die Werte von 0 (zu löschendes Objekt) bis 255 (Hintergrund) unterteilt. Dies muss nicht manuell gezeichnet werden. Wenn Sie die Magic-Mask-Daten aus DaVinci Resolve extrahieren und ein Konvertierungsskript ausführen, entfallen 80 % der Arbeitszeit.
Maskieren Sie in DaVinci Resolve das Hauptobjekt und die betroffenen Umgebungsobjekte in separaten Nodes und exportieren Sie diese als PNG-Sequenz. Verwenden Sie anschließend ein FFmpeg-Skript, um die Maske des Hauptobjekts auf Schwarz (0) und die Umgebungsmaske auf Grau (127) zu setzen. Auf die Grenzflächen, an denen sich beide Bereiche überschneiden, wenden Sie einen dunkelgrauen Filter (63) an, um das finale Quad-Mask-Video zusammenzuführen. Auf diese Weise berechnet die KI von selbst die Flugbahn einer Tasse, die eine Person hielt, bevor sie gelöscht wurde, und lässt sie physikalisch korrekt zu Boden fallen.
Inpainting-Ergebnisse sind manchmal problematisch, weil sie zu „sauber“ aussehen. Wenn die Umgebung eine raue Filmoptik hat, die bearbeitete Stelle aber glatt wie in Photoshop wirkt, bemerkt das Publikum den Schwindel sofort. Obwohl das 2-Pass-System von VOID Wackler minimiert, repliziert es nicht die Rauschpartikel des Originalvideos.
Dieser Kontrast lässt sich beheben, indem man ein Rauschprofil von einer sauberen Stelle des Originalvideos übernimmt. Öffnen Sie den Film-Grain-Node in DaVinci Resolve und analysieren Sie die Partikelgröße des Quellmaterials. Legen Sie dann ein künstliches Korn mit denselben Einstellungen als Overlay nur über den Maskenbereich. Mit einem Luma-Key können Sie einstellen, dass sich in den Mitteltönen mehr Korn ansammelt, wodurch die Grenze zwischen dem KI-generierten Bereich und dem tatsächlichen Filmmaterial vollständig verschwindet.
Bei komplexen Hintergründen unterläuft der KI manchmal der Fehler, dass sie die Form von Objekten verzerrt. In solchen Fällen sollten Sie die VOID-Ausgabe nicht als endgültig betrachten, sondern eine Hybrid-Strategie unter Einbeziehung von Stable Diffusion (SDXL) anwenden.
Extrahieren Sie nur die stark fehlerhaften Frames und erstellen Sie mit SDXL ein korrigiertes Still-Frame, das die Hintergrundbeleuchtung perfekt trifft. Geben Sie dieses korrigierte Bild in ein Tool wie EbSynth, um die Textur basierend auf den Bewegungsvektoren des Videos auf die gesamte Sequenz zu übertragen. Schließlich können Sie mit RIFE-Technologie die Frames interpolieren, um hackelige Bewegungen flüssig zu verbinden. Dies ist zwar ein manueller Prozess, um KI-Fehler auszubügeln, aber das Ergebnis bietet eine Stabilität auf Produktionsniveau.
Cloud-Kosten werden sekundengenau abgerechnet. Einfach blind in 4K zu rendern, ist reine Budgetverschwendung. Sichern Sie sich zuerst Spot-Instanzen bei RunPod. Diese können zwar jederzeit beendet werden, sind dafür aber 70 % günstiger als On-Demand-Instanzen.
Führen Sie vor der eigentlichen Arbeit eine 1-Pass-Inferenz in einer niedrigen Auflösung von 480p durch. Erstellen Sie eine Checkliste und prüfen Sie, ob die Ränder des zu entfernenden Objekts sauber sind und ob die Bewegungen der Umgebungsobjekte physikalisch Sinn ergeben. Erst wenn die Testergebnisse überzeugen, sollten Sie die volle Leistung der teuren H100 für das finale hochauflösende Rendering nutzen. Eine Technologie, die nicht auf Effizienz achtet, ist für Independent-Filmemacher purer Luxus.