ロボットはビデオゲームで訓練されるようになる - ピム・デ・ウィッテ（General Intuition）

Highlights

• 世界最大のビデオゲームレコーダーであるMetalを活用して、何万ものビデオゲームのプレイ録画から膨大な行動データを収集している。

• ゲームのプレイ動画から得られるデータは、フロンティア・ラボがロボット工学モデルの訓練に使用している総データ量の規模をわずか半日で上回る。

• モデルはピクセルを入力として受け取り、リアルタイムでコンピュータ操作やビデオゲームのプレイ、10種類以上のロボットの制御を行う。

• 人間がビデオゲームをプレイする際の高いアクション密度を利用して、ドローン操作などの複雑なロボット工学の負荷や制御に対応する。

Timeline

1. 00:12 - 05:20

   LLMの限界とビデオゲームデータ活用の背景

   大規模言語モデルはテキストやコード生成において優れた成果を上げているものの、空間や時間をリアルタイムで処理する環境ではターン制であるゆえの限界が存在する。これに対し、人間は視覚情報であるピクセルを認識しながら同時並行でコントローラー操作などのアクションを出力している。この点に着目し、ビデオゲームのプレイ動画をインターネット上の情報に見立てて、入力と行動を結びつけるデータとして活用するアプローチが構築されている。

   • LLMはターン制の予測には優れているが、空間や時間を伴う継続的な環境の一般化には根本的な限界がある。
   • 人間がゲームコントローラーを使ってゲームを遊ぶ脳の仕組みと、ロボットの遠隔操作や現実世界の行動空間は多くのケースで一致している。
   • ビデオゲームのレコーダーから得られるフレームと行動の関連付けデータを視覚ベースのモデルに入力する。
2. 05:20 - 10:25

   ピクセル空間のスケーリングとワールドモデルの構築

   ロボット工学企業の多くはモーターの正確な姿勢やトルクの値を直接予測するエンドツーエンドのアプローチをとっているが、人間は機械の内部数値ではなくピクセルをベースに世界を捉えている。動画プラットフォームにアップロードされる膨大な数の動画データを活用することで、既存のロボット工学の訓練データを圧倒するスピードでスケーリングが可能になる。また、ワールドモデルを通じてモデルが自律的に学習するための追加環境を生み出す仕組みが組み込まれている。

   • Metaなどのプラットフォームでアップロードされる動画から、毎月1兆5千億を超えるアクション・トークンが生成される。
   • 他社がロボット工学モデルの訓練にかける総データ量に匹敵する量をわずか半日で収集している。
   • MIRAワールドモデルの活用により、モデルが学習するための追加環境を生成して活用する。
3. 10:25 - 18:43

   モデルのリリース計画と将来のユースケース

   開発された汎用モデルは、ピクセルを入力として受け取り、人間と同等のプリミティブを用いて複数のロボットやコンピュータ操作を完全にリアルタイムで制御する能力を持つ。UXの検証やアクセシビリティ支援など、人間のような探索や操作を必要とする幅広い分野への応用が期待されている。今後は年内のモデルリリースやハッカソンを通じて、開発者やパートナーへの展開が進められる。

   • 1つのモデルでビデオゲームの最高レベルのプレイと10種類以上のロボットの制御を完全にリアルタイムで実現する。
   • モデルのアーリーアクセスやウェイリストへの登録受付、およびニューヨークやロンドンでのハッカソンの開催が予定されている。
   • JEPAは長期的には正しいアプローチである一方、膨大なアクションデータを直接保持するアプローチが短期的には実用的である。