Netflixの最新AIが俳優を完全に消去？驚異の「VOID」モデルを徹底解説

하이라이트

• VOID（Video Object and Interaction Deletion）は、対象物だけでなく、その物体が周囲に及ぼした物理的な影響まで削除するオープンソースAIツールである。

• 標準的なAI消しゴムが周辺ピクセルの推測に頼るのに対し、VOIDは「反事実的な現実」を再構築し、対象が最初から存在しなかった映像を生成する。

• 2パス・システムを採用しており、第1パスで因果関係の推論とクアッド・マスク作成を行い、第2パスでフロー・ワープ・ノイズによる形状の安定化を図る。

• モデルの学習には数千の物理シミュレーションによる合成環境を使用し、衝突があるバージョンとないバージョンの差異をAIに学習させている。

• 実証テストにおいて、映画『ラ・ラ・ランド』のダンスシーンからエマ・ストーンを削除した際、背後の人物との交差を含めほぼシームレスな映像が生成された。

타임라인

1. 00:00 - 02:00

   従来のビデオインペインティングの限界とVOIDの解決策

   標準的なAI消しゴムはコンテンツに応じた塗りつぶしを高度化したものであり、穴の周りのピクセルから推測を行う。ボウリングの球がピンに当たるシーンから球だけを消すと、ピンが倒れる理由が失われるが、VOIDは対象が最初から存在しなかった「反事実的な現実」を構築する。これにより、シーン全体の物理現象に矛盾がない映像への修正が可能となる。

   • 既存のAIツールは静止物の消去には優れているが、物理的な相互作用の削除には失敗する。
   • VOIDは「因果関係」を理解し、削除されたオブジェクトに基づいてビデオ内容を修正する。
   • ミキサーを回す人物を消した際に中身が回転し続けるような「幽霊現象」を解消する。
2. 02:01 - 03:50

   VOIDの動作原理：2パス・システムと合成データ学習

   システムは視覚言語モデルを使用して「これを削除したら他に何が変わるか」を自問自答するプロセスから始まる。ドミノの一片を取り除けば、他のドミノへの影響を特定し、拡散モデルに指示を出すための特殊なマップを作成する。現実世界で衝突事故の「発生しなかった版」を撮影することは不可能なため、数千件のデジタルシミュレーションを通じて、物体の存在と環境への影響の関係をAIに学習させている。

   • 第1パスではSAM2による追跡と、物理現象の書き換え範囲を示すクアッド・マスクの作成を行う。
   • 第2パスのフロー・ワープ・ノイズにより、生成されたオブジェクトの変形を防ぎ一貫性を保つ。
   • 学習データにはKubricなどの合成環境を用い、物理シミュレーションのビフォー・アフターを比較させている。
3. 03:51 - 06:27

   クラウドGPU環境でのセットアップとカスタムUIの構築

   RunPodのようなクラウド環境でのセットアップには、公式ドキュメントにない細かな調整が求められる。特に「quad_mask_0.mp4」という厳格なファイル名指定や、ゲート付きモデルであるSAM3へのアクセス許可申請が必須となる。セグメンテーション、推論、2パス処理を一元管理できるカスタムWebアプリを介することで、これらの複雑な工程を簡略化できる。

   • VOIDの実行にはH100などの強力なGPUと100GB以上のコンテナサイズが必要となる。
   • GitHubの公式ドキュメントにはSAM3モデルの必要性やファイル命名規則に関する記載が欠落している。
   • ポーズ推定とクアッド・マスク生成の精度向上のためにGemini APIを使用する。
4. 06:28 - 11:42

   映画シーンを用いた実証テストの結果と限界

   テストの結果、VOIDの性能はビデオの性質とセグメンテーションの精度に大きく左右される。ダンスシーンのような動的な背景では驚異的な整合性を見せた一方で、人物同士が密接に接触しているシーンでは不自然な痕跡が残る場合がある。Netflixはこの技術を、視聴者の選択によって物語が変化するインタラクティブな映像体験（バンダースナッチ形式）に応用する可能性がある。

   • 『ラ・ラ・ランド』の複雑なダンスシーンにおいて、人物の交差を含む削除が最も高い精度で実行された。
   • 『マトリックス』の格闘シーンでは、削除された人物の「手」が残るなどのアーティファクトが発生した。
   • 『タイタニック』のシーンでは、人物は消去されたものの、接触していた他方の腕の形状に不気味の谷現象が見られた。