ИИ-модель от Netflix удаляет любого актера из любой сцены (Разбор модели VOID)

하이라이트

• VOID (Video Object and Interaction Deletion) устраняет «фантомные взаимодействия», пересчитывая физику сцены после удаления объекта.

• Модель использует двухэтапный процесс: фазу рассуждения с SAM2 и Quad Mask для определения зоны перерисовки физики, а затем генерацию через диффузионную видеомодель.

• Технология flow warp noise во втором проходе устраняет галлюцинации и искажения, фиксируя формы стабильных объектов.

• Обучение системы проходило на синтетических данных Kubric, где ИИ сравнивал симуляции столкновений с версиями сцен, в которых объекты изначально отсутствовали.

• Для корректной работы требуются GPU уровня H100, токены Hugging Face для доступа к закрытой модели SAM3 и API-ключ Gemini для оценки поз при создании масок.

타임라인

1. 00:00 - 01:57

   Ограничения стандартного инпейнтянга и концепция VOID

   Большинство инструментов для удаления объектов просто анализируют окружающие пиксели, что приводит к ошибкам в динамических сценах. Например, при удалении игрока в боулинг кегли падают сами по себе. VOID решает проблему фантомных взаимодействий, переосмысляя всю логику сцены.

   • Традиционные ИИ-ластики работают как «заливка с учетом содержимого», игнорируя физические последствия действий.
   • VOID создает альтернативную реальность кадра, где удаленного объекта никогда не существовало.
   • Модель предотвращает ситуации, когда предметы продолжают двигаться или падать после исчезновения источника воздействия.
2. 01:58 - 03:18

   Двухэтапная архитектура: Рассуждение и Генерация

   На первом этапе визуально-языковая модель анализирует изменения в сцене при исчезновении объекта. Если убрать домино, ИИ помечает другие костяшки как косвенно затронутые. На втором этапе диффузионная модель создает новые кадры, а алгоритм flow warp noise исправляет возможные галлюцинации объектов.

   • Система Quad Mask размечает области, где необходимо не только стереть пиксели, но и переписать физические свойства окружающей среды.
   • Интеграция SAM2 обеспечивает попиксельный трекинг объекта на протяжении всего ролика.
   • Второй проход генерации минимизирует искажения за счет стабилизации шума и сохранения целостности геометрии.
3. 03:19 - 03:50

   Методология обучения на синтетических данных

   Прямое обучение на реальных кадрах невозможно, так как нельзя «отменить» физическое событие после съемки. Использование синтетических сред позволило предоставить модели идеальные пары данных «до» и «после». Благодаря этому VOID понимает, как должна выглядеть сцена, если бы взаимодействия никогда не было.

   • Обучающая выборка формировалась на базе платформы Kubric через тысячи физических симуляций.
   • ИИ сопоставлял пары видео: версию со столкновением объектов и версию без участия одного из них.
   • Этот метод позволил модели выучить связи между присутствием объекта и его влиянием на окружение без съемок в реальной жизни.
4. 03:51 - 06:24

   Техническая реализация и настройка окружения

   Официальная документация на GitHub содержит пробелы, включая отсутствие инструкций по именованию масок и необходимости SAM3. Для стабильной работы создано кастомное веб-приложение, объединяющее этапы сегментации, инференса и финального рендеринга. Установка включает клонирование репозитория и использование скрипта автоматизации на облачном GPU.

   • Для запуска требуется контейнер объемом не менее 100 ГБ и открытый порт 8998 для графического интерфейса.
   • Процесс сегментации использует Gemini для точного анализа поз и построения масок.
   • Необходим доступ к закрытому репозиторию SAM3 для корректной работы этапа обработки.
5. 06:25 - 11:42

   Тестирование на кинокадрах и анализ результатов

   Тесты показали разные результаты: от безупречного исчезновения Эммы Стоун до странных движений Морфеуса, сражающегося с пустотой. В сложных сценах сохраняется эффект «зловещей долины» и визуальные ошибки. Потенциал технологии Netflix может заключаться в создании интерактивного контента, где зритель сам меняет состав участников сцены.

   • В сцене из «Ла-Ла Ленда» достигнуто бесшовное удаление актера даже при пересечении фигур в кадре.
   • Удаление персонажей в «Матрице» и «Титанике» выявило артефакты в виде «призрачных рук» и искажений лиц.
   • Качество результата напрямую зависит от точности расстановки контрольных точек на этапе сегментации.