Netflix 全新 AI 模型：让任何角色从场景中消失（VOID 模型深度解析）

하이라이트

• VOID 模型是由 Netflix 与 Insight 合作开发的开源 AI 框架，专门用于从视频中删除特定对象及其产生的物理交互后果。

• 该模型通过 Kubrick 合成环境下的数千次物理模拟进行训练，学习物体存在与其环境影响之间的因果关系。

• VOID 采用双重处理系统，首先使用 SAM2 追踪像素级遮罩，随后通过视觉语言模型判断移除物体后需要重写的物理规则区域。

• 为了解决扩散模型可能产生的形状畸变，VOID 引入了可选的流扭曲噪声（flow warp noise）技术来确保剩余物体的一致性。

• 在实际测试中，移除《爱乐之城》中的角色实现了接近无缝的过渡，但在《泰坦尼克号》等复杂交互场景中仍可能出现肢体残留等伪影。

타임라인

1. 00:00 - 01:52

   传统视频补全局限性与 VOID 核心定义

   大多数现有的视频工具在移除动态物体时表现欠佳。例如移除一个击中保龄球瓶的球，普通模型会让球瓶在无受力的情况下倒下。VOID 则尝试构建一个该物体从未存在过的“反事实现实”版本。

   • 标准的 AI 擦除器仅基于周围像素进行内容填充，无法理解物体间的物理交互。
   • VOID 代表视频对象与交互删除（Video Object and Interaction Deletion），旨在消除移除物体后留下的物理异常。
2. 01:53 - 03:50

   双重处理架构与物理规则推理

   模型通过观察场景来回答“如果移除此物体，还有什么会改变”的问题。这种能力源于在合成环境中的训练，通过对比“发生碰撞”与“物体从未出现”的两个版本，AI 学会了环境与物体之间的关联。为了保持画面的坚实度，流扭曲噪声解决了生成模型常见的闪烁和形变问题。

   • 第一步推理阶段结合了视觉语言模型和 SAM2，用于识别因物体移除而受影响的其他区域。
   • 模型生成的 Quad Mask 会指示扩散模型哪些区域需要根据物理规则进行重写。
   • 流扭曲噪声技术作为可选的第二步处理，用于锁定物体形状并减少生成过程中的梦幻变形。
3. 03:51 - 06:27

   开发环境搭建与 Web 应用构建

   原始项目的演示界面不提供创建初始遮罩的功能，且文档漏掉了一些关键细节，如 Quad Mask 必须严格命名为 quad_mask_0.mp4。通过构建自定义 UI，可以将分割、推理和双重处理步骤整合到统一的工作流中。使用 RunPod 实例配合特定端口映射是目前最有效的测试方案。

   • 由于 GitHub 原始文档存在路径命名和模型依赖（如 SAM3）说明不全的问题，直接部署难度较大。
   • 运行该模型需要 H100 等级别的强力 GPU、100 GB 的存储空间以及 Hugging Face 访问权限。
   • 自定义 Web 应用整合了 Gemini API 以执行姿态估计，从而生成精确的 Quad Mask。
4. 06:28 - 11:42

   实战案例测试与最终效果评估

   测试结果受场景性质影响显著。在简单的背景切换中，VOID 表现优异；但在复杂的近身格斗或拥抱场景中，会出现残留的手臂碎片或脸部变形。这种技术的潜在应用可能包括 Netflix 的交互式叙事内容，通过 AI 实时改变场景元素来驱动多分支剧情发展。

   • 在《黑客帝国》测试中，尼奥被完全移除，但墨菲斯的动作在没有对手的情况下显得不自然。
   • 《爱乐之城》的移除效果达到了几乎完美无瑕的程度，角色间的过渡几乎不可见。
   • 《泰坦尼克号》的测试揭示了模型在处理紧密接触的肢体时可能产生恐怖谷效应。