로봇은 비디오 게임으로 훈련될 것입니다 - 핌 데 위테, 제너럴 인튜이션

하이라이트

• 세계에서 가장 큰 비디오 게임 레코더인 Metal은 연간 30억 개의 업로드된 동영상을 처리하며, 이는 한 달에 1조 5천억 개가 넘는 행동 토큰으로 이어진다.

• 인간이 비디오 게임을 플레이할 때와 로봇을 원격 조작할 때 정확히 동일한 컨트롤러와 감각을 사용하므로, 게임 행동 공간과 현실 세계의 행동 공간은 많은 경우에 일치한다.

• 대부분의 로봇 공학 기업들이 엔드투엔드 수준에서 정확한 모터 값을 예측하려고 애쓰는 것과 달리, 이 모델은 프레임을 입력받아 실시간으로 행동을 출력하는 픽셀-행동 변환 방식을 사용한다.

• 단일 모델이 최고 수준으로 비디오 게임을 플레이하는 동시에 동일한 기본 구성 요소를 활용하여 10가지가 넘는 종류의 로봇을 제어한다.

• 모델 학습과 환경 생성을 위해 11월 중순 뉴욕시를 시작으로 런던 등지에서 세 차례의 해커톤이 개최될 예정이다.

타임라인

1. 00:00 - 05:18

   비디오 게임 데이터를 활용한 로봇 학습의 필요성

   일반적인 LLM은 토큰을 자기 회귀적으로 예측하는 데 그치지만, 인간은 행동하는 동시에 끊임없이 관찰하는 방식을 취한다. 이러한 특성에 맞춰 비디오 게임 플레이 기록을 입력과 실제 프레임에 연결된 행동 데이터로 변환하고, 이를 비전 기반 모델에 학습시키는 접근 방식을 취한다. 게임 컨트롤러와 현실 세계의 행동 공간이 동일하다는 점을 활용하여 로봇 공학의 한계를 극복하려는 시도이다.

   • LLM은 다음 텍스트 토큰을 예측하는 턴제 방식에 특화되어 있어 공간과 시간이 포함된 환경으로 일반화하기 어렵다.
   • Metal은 세계에서 가장 큰 비디오 게임 레코더로서 사용자들이 플레이하는 방식을 기록하여 방대한 행동 데이터를 수집한다.
   • 인간은 비디오 게임을 할 때와 로봇을 원격 조작할 때 정확히 같은 두뇌와 컨트롤러를 사용한다.
2. 05:18 - 10:00

   픽셀 공간의 규모화와 범용 에이전트의 구현

   인간은 모터 토크의 정확한 값을 직접 알지 못하지만 이를 제어하는 장치들을 수년 동안 활용해 왔다. 기존 로봇 공학 기업들이 엔드투엔드로 모터 값을 직접 예측하려는 방식에서 벗어나, 픽셀과 행동의 변환 과정을 대규모로 확장하고 있다. 앤트로픽이 코딩 영역에 집중해 문제를 해결한 것처럼 픽셀 공간을 규모화함으로써 범용적인 에이전트를 탄생시키는 것을 목표로 한다.

   • 현재 Metal은 연간 30억 개의 동영상을 처리하며 월간 1조 5천억 개 이상의 행동 토큰을 생성한다.
   • 프론티어 랩들이 하루 동안 수집하는 총 데이터 양을 반나절 만에 확보할 수 있는 규모이다.
   • 프레임을 지속적으로 수신하고 비디오 게임처럼 모든 것을 예측하여 실시간으로 행동을 출력한다.
3. 10:00 - 18:43

   모델 출시 일정 및 에코시스템 확장 계획

   개발된 모델은 비디오 게임 플레이와 다양한 로봇 제어를 동일한 기본 구성 요소로 수행할 수 있으며 완전한 실시간으로 행동을 출력한다. 대기자 명단을 통해 순차적으로 액세스가 제공되며, 과학 실험실의 로봇 오케스트레이션이나 컴퓨터 접근성 지원 등 다양한 분야로 활용 범위를 넓혀가고 있다. 또한 모델을 직접 체험하고 환경을 생성하는 연구를 촉진하기 위해 해커톤 행사가 진행된다.

   • 비디오 게임을 최고 수준으로 플레이하고 10종 이상의 로봇을 제어하는 단일 모델이 공개될 예정이다.
   • 11월 말에서 12월 초 사이에 순차적인 얼리 액세스가 제공된다.
   • 뉴욕과 런던 등지에서 모델을 직접 다루고 체험할 수 있는 해커톤이 개최된다.