Como usar o modelo VOID para cineastas independentes que não podem voltar ao set
makedream٣٠ أبريل ٢٠٢٦
0
Computing/Software
Comments (0)
Log in to leave a comment
No posts yet
makedreammakedreamLog in to leave a comment
No posts yet
O modelo VOID, lançado pelos pesquisadores da Netflix, não é apenas uma ferramenta para apagar pessoas. Ele calcula a causalidade física de como os objetos restantes devem se mover de acordo com a gravidade no espaço onde o objeto desapareceu. Em sets de filmes independentes onde um ator principal desistiu repentinamente ou surgiram problemas de direitos autorais, mas não há dinheiro para refilmagens, esta tecnologia é literalmente uma tábua de salvação.
O modelo VOID consome uma quantidade enorme de memória para manter a continuidade entre os frames de vídeo. Os 24GB de VRAM de uma RTX 4090 doméstica não são suficientes. Como são necessários no mínimo 40GB, em vez de comprar uma workstation de milhares de dólares, você deve alugar instâncias no RunPod ou Lambda Labs. Em 2026, o modelo H100 PCIe pode ser alugado por cerca de 2 dólares e pouco por hora. Parece caro, mas em comparação com o custo de uma refilmagem, é praticamente de graça.
A configuração leva apenas 30 minutos. No painel do RunPod, selecione um template que inclua PyTorch 2.2.0 e CUDA 12.1 para criar a instância. No terminal, execute apt-get install ffmpeg, clone o repositório oficial, instale as dependências e pronto. Certifique-se de carregar os arquivos de pesos (weights) em um volume de rede. Você deve economizar o tempo e o custo de baixar novamente gigabytes de dados toda vez que ligar ou desligar a instância.
Fazer rotoscopia manual, contornando tudo quadro a quadro, é um inferno. O modelo VOID utiliza uma estrutura de quad-mask de 4 estágios que divide os valores de 0 (alvo de exclusão) a 255 (fundo), e não há necessidade de desenhar isso manualmente. Ao extrair os dados do Magic Mask do DaVinci Resolve e rodar um script de conversão, 80% do tempo de trabalho desaparece.
No DaVinci Resolve, mascare o objeto principal e os objetos na zona de influência em nós separados e exporte como uma sequência PNG. Em seguida, use um script FFmpeg para atribuir a máscara do objeto principal como preto (0) e a máscara de influência como cinza (127). Nas bordas onde as duas áreas se sobrepõem, aplique um filtro cinza escuro (63) para mesclar o vídeo final da quad-mask. Dessa forma, se o personagem estava segurando um copo, a IA desenhará automaticamente a trajetória do copo caindo no chão após a remoção do personagem.
Os resultados do inpainting às vezes são problemáticos por serem limpos demais. Se ao redor houver uma sensação de filme granulado, mas o local removido for liso como se tivesse passado pelo Photoshop, o público perceberá rapidamente. Embora o sistema de dois passos do VOID elimine tremores, ele não replica as partículas de ruído do vídeo original.
Essa inconsistência é resolvida extraindo um perfil de ruído de um ponto limpo do vídeo original. Abra o nó de Film Grain no DaVinci Resolve e analise o tamanho das partículas da fonte original. Em seguida, aplique um grão artificial com os mesmos valores de configuração apenas sobre a área da máscara. Use um Luma Key para ajustar o grão de modo que ele apareça mais nos tons médios, fazendo com que a fronteira entre a área criada pela IA e a filmagem real desapareça completamente.
Quando o fundo é complexo, a IA às vezes comete erros que distorcem a forma dos objetos. Nesses casos, não confie no output do VOID como a resposta final; é necessária uma estratégia híbrida misturando o Stable Diffusion (SDXL).
Extraia apenas os frames com erros graves e crie stills de referência com o SDXL, ajustando a iluminação do fundo. Insira esta imagem corrigida em ferramentas como o EbSynth para aplicar a textura em toda a sequência de acordo com os vetores de movimento do vídeo. Por fim, use a tecnologia RIFE para interpolação de frames, suavizando movimentos que antes eram truncados. É um processo manual para consertar o que a IA errou, mas o resultado final ganha uma estabilidade de nível de produção.
Os custos de nuvem são cobrados por segundo. Rodar renderizações em 4K logo de cara é um desperdício de orçamento. Primeiro, utilize as instâncias Spot do RunPod. Elas podem ser desligadas a qualquer momento, mas são 70% mais baratas que as sob demanda (on-demand).
Antes de começar o trabalho pesado, rode uma inferência de primeiro passo em baixa resolução (480p). Crie um checklist para verificar se as bordas do objeto removido estão vazando ou se o movimento dos objetos ao redor faz sentido físico. Somente quando o resultado do teste for satisfatório, aumente a potência da cara H100 ao máximo para rodar a renderização final em alta resolução. Tecnologia sem eficiência é um luxo que cineastas independentes não podem se dar.