넷플릭스의 새로운 AI 모델, 영상 속 배우를 흔적 없이 지워버립니다 (VOID 모델 분석)

하이라이트

• VOID(Video Object and Interaction Deletion)는 넷플릭스와 Insight가 공동 개발한 오픈 소스 AI 모델로, 영상 속 객체 제거 시 발생하는 인과관계 오류를 해결합니다.

• 표준 AI 인페인팅 방식이 픽셀 채우기에만 집중하는 것과 달리, VOID는 객체가 사라진 후 주변 사물의 물리적 반응까지 재계산하여 영상을 수정합니다.

• 모델 학습을 위해 Kubric 합성 환경을 사용하여 객체 충돌이 있는 버전과 아예 존재하지 않는 버전의 물리 시뮬레이션 데이터 수천 개를 비교 학습했습니다.

• VOID는 SAM2(Segment Anything Model 2)를 사용하여 객체의 궤적을 추적하고, 확산 모델에게 물리 법칙 재작성 범위를 지시하는 Quad Mask 맵을 생성합니다.

• 실제 테스트 결과 영화 '라라랜드'의 복잡한 춤 장면에서 인물을 제거했을 때 배경과의 폐쇄(Occlusion) 관계를 매끄럽게 처리하는 높은 정밀도를 보였습니다.

타임라인

1. 00:00 - 01:58

   기존 비디오 인페인팅의 한계와 VOID의 등장

   대부분의 영상 편집 AI는 정적인 사물이나 워터마크 제거에는 능숙하지만 움직이는 물체 사이의 인과관계를 이해하지 못합니다. 넷플릭스는 이러한 문제를 해결하기 위해 물리적 상호작용까지 함께 삭제하거나 수정하는 새로운 프레임워크를 개발했습니다. 이를 통해 제거된 대상이 주변 환경에 끼친 영향까지 자연스럽게 지워진 결과물을 얻습니다.

   • 표준 AI 지우개는 주변 픽셀을 복제하는 방식이라 물리적 상호작용이 있는 장면에서는 오류를 발생시킵니다.
   • 볼링공을 지워도 핀이 쓰러지거나 믹서기 안의 내용물이 계속 회전하는 유령 상호작용 현상이 대표적인 결함입니다.
   • VOID는 객체가 애초에 존재하지 않았던 '반사실적 현실'을 구현하여 물리 법칙의 일관성을 유지합니다.
2. 01:59 - 03:51

   물리 법칙을 재작성하는 2단계 시스템의 작동 원리

   단순한 삭제가 아니라 장면 전체를 분석하는 추론 단계를 거칩니다. 도미노 하나를 뺐을 때 나머지 도미노에 미치는 영향을 AI가 스스로 질문하고 답하는 방식입니다. 학습 과정에서도 현실에서 불가능한 사고 전후 데이터를 얻기 위해 Kubric 시뮬레이션 기반의 합성 데이터를 활용하여 존재 유무에 따른 환경 변화를 익혔습니다.

   • 1단계 추론 과정에서 SAM2와 시각 언어 모델을 활용해 객체의 픽셀 단위 궤적과 인과 관계를 파악합니다.
   • Quad Mask는 확산 모델에게 수정이 필요한 영역과 물리 법칙을 다시 써야 할 범위를 안내하는 특수 맵 역할을 수행합니다.
   • 2단계 생성 과정에서는 flow warp noise를 적용하여 영상의 형태가 몽환적으로 변형되는 현상을 방지하고 일관성을 확보합니다.
3. 03:52 - 06:27

   로컬 환경 구축 및 실행 시 주의사항

   VOID는 오픈 소스로 공개되었지만 설정 과정이 매우 복잡하며 고사양 하드웨어를 요구합니다. 원활한 구동을 위해서는 전용 웹 앱 구축이 효율적이며 특히 8998 포트 설정과 같은 네트워크 환경 구성이 선행되어야 합니다. 추론 단계에서 정밀한 쿼드 마스크를 생성하기 위해 제미나이 API가 포즈 추정에 활용되는 특징이 있습니다.

   • H100 GPU 이상의 클라우드 환경과 최소 100GB 이상의 컨테이너 용량이 필요합니다.
   • 허깅 페이스의 SAM3 모델 접근 권한 승인과 포즈 추정을 위한 제미나이(Gemini) API 키가 필수적입니다.
   • 공식 문서의 누락된 명령어나 특정 파일명(quad_mask_0.mp4) 강제 규정 등 설정 과정의 기술적 장벽이 존재합니다.
4. 06:28 - 11:42

   실제 영화 장면을 활용한 성능 테스트와 한계

   네오를 지운 매트릭스 장면에서는 모피어스가 유령과 싸우는 듯한 기괴한 연출이 나타났으며 타이타닉 장면에서는 미처 지정하지 못한 손의 흔적이 남기도 했습니다. 이는 사용자 지정 세분화의 정밀도에 따라 결과가 달라짐을 보여줍니다. 넷플릭스는 이 기술을 향후 시청자의 선택에 따라 실시간으로 영상 서사가 바뀌는 상호작용형 콘텐츠에 활용할 가능성이 높습니다.

   • 영화 '라라랜드' 테스트에서는 춤추는 인물이 다른 인물 앞을 지나가는 복잡한 가림 현상을 거의 완벽하게 처리했습니다.
   • 영화 '매트릭스'의 격투 장면처럼 역동적인 상호작용이 밀집된 경우 손의 잔상이 남는 등 일관성 문제가 발생할 수 있습니다.
   • 프롬프트 입력 시 제거할 대상을 언급하지 않고 남아있어야 할 배경 요소에만 집중하는 것이 더 나은 결과물을 만듭니다.