Cómo utilizar el modelo VOID para cineastas independientes que no pueden volver al set
makedream2026년 4월 30일
0
Computing/Software
Comments (0)
Log in to leave a comment
No posts yet
makedreammakedreamLog in to leave a comment
No posts yet
El modelo VOID, presentado por los investigadores de Netflix, no es simplemente una herramienta para borrar personas. Calcula la causalidad física de cómo deben moverse los objetos restantes según la gravedad una vez que un elemento desaparece. Para un rodaje de cine independiente donde un actor principal abandonó el proyecto repentinamente o surgieron problemas de derechos de autor, pero no hay presupuesto para volver a filmar, esta tecnología es, literalmente, un salvavidas.
El modelo VOID consume una cantidad enorme de memoria al gestionar la continuidad entre los fotogramas de video. Los 24 GB de VRAM de una RTX 4090 de uso doméstico no son suficientes. Se requieren al menos 40 GB, por lo que en lugar de comprar una estación de trabajo de miles de dólares, debe alquilar instancias en RunPod o Lambda Labs. A partir de 2026, el modelo H100 PCIe se puede alquilar por algo más de 2 dólares por hora. Parece caro, pero comparado con el costo de volver a rodar, es prácticamente gratis.
La configuración se completa en 30 minutos. En el panel de RunPod, seleccione una plantilla que incluya PyTorch 2.2.0 y CUDA 12.1 para crear la instancia. Ejecute apt-get install ffmpeg en la terminal, clone el repositorio oficial e instale las dependencias; con eso estará listo. Asegúrese de subir los archivos de pesos (weights) a un volumen de red. Debe ahorrar el tiempo y el costo de volver a descargar gigabytes de datos cada vez que encienda o apague la instancia.
Hacer rotoscopia manual trazando contornos fotograma a fotograma es un infierno. El modelo VOID utiliza una estructura de máscara cuádruple de 4 niveles que divide los valores de 0 (objeto a eliminar) a 255 (fondo), y no es necesario dibujarlo manualmente. Si extrae los datos de Magic Mask de DaVinci Resolve y utiliza un script de conversión, eliminará el 80% del tiempo de trabajo.
En DaVinci Resolve, enmascare el objeto principal y los objetos del área de influencia en nodos separados y expórtelos como una secuencia PNG. Luego, use un script de FFmpeg para asignar el objeto principal como negro (0) y la máscara de influencia como gris (127). Aplique un filtro gris oscuro (63) en la interfaz donde ambas áreas se solapan para combinar el video final de la máscara cuádruple. De esta manera, si una persona sostenía una taza, la IA dibujará automáticamente la trayectoria de la taza cayendo al suelo tras eliminar al personaje.
El resultado del inpainting a veces es demasiado limpio, y ese es el problema. Si el entorno tiene una textura de película rugosa pero el área eliminada es tan lisa como un retoque de Photoshop, el público lo notará de inmediato. Aunque el sistema de dos pasos de VOID estabiliza el movimiento, no replica las partículas de ruido del video original.
Esta inconsistencia se resuelve extrayendo un perfil de ruido de una zona limpia del video original. Abra el nodo de Film Grain en DaVinci Resolve y analice el tamaño de partícula de la fuente original. Luego, superponga grano artificial con los mismos valores de configuración solo en el área de la máscara. Si usa una clave de luminancia (luma key) para que el grano se concentre más en los tonos medios, la frontera entre el área creada por la IA y el metraje real desaparecerá por completo.
Si el fondo es complejo, la IA a veces comete errores distorsionando la forma de los objetos. En estos casos, no confíe ciegamente en el resultado de VOID y adopte una estrategia híbrida combinándolo con Stable Diffusion (SDXL).
Extraiga solo los fotogramas con errores graves y cree una imagen fija de referencia con SDXL que coincida con la iluminación del fondo. Introduzca esta imagen corregida en herramientas como EbSynth para aplicar la textura a toda la secuencia según los vectores de movimiento del video. Finalmente, use la tecnología RIFE para la interpolación de fotogramas y suavizar los movimientos que se vean entrecortados. Es un proceso de reparación manual de los errores de la IA, pero el resultado final adquiere una estabilidad de nivel profesional.
Los costos de la nube se cobran por segundo. Intentar renderizar en 4K desde el principio es un desperdicio de presupuesto. Primero, reserve instancias Spot en RunPod; pueden desconectarse en cualquier momento, pero son un 70% más baratas que las On-demand.
Antes de empezar el trabajo real, realice una inferencia de primer paso a baja resolución (480p). Cree una lista de verificación para confirmar si los bordes del objeto a eliminar se filtran o si el movimiento de los objetos circundantes tiene sentido físico. Solo cuando los resultados de la prueba sean sólidos, aumente al máximo la potencia de la H100 para ejecutar el renderizado final en alta resolución. La tecnología que no considera la eficiencia es un lujo que un cineasta independiente no se puede permitir.