Роботов будут обучать на видеоиграх — Пим де Витте, General Intuition
Original · Robots Will Be Trained on Video Games - Pim de Witte, General Intuition
Key Takeaway
Обучение базовых моделей на основе миллиардов часов игрового видео и действий с контроллеров позволяет создавать универсальных агентов для управления роботами и компьютерами в реальном времени.
Highlights
Платформа Metal записывает игровой процесс в десятках тысяч видеоигр и достигает показателя в 1,5 триллиона токенов действий в месяц.
Модели обучаются на видеозаписях с разметкой действий и используют клавиатуру или игровой контроллер в качестве пространства выходов.
Один миллиард загружаемых видео в год обрабатывается системой Metal, а текущий объем данных собирается всего за полдня работы.
Единая модель способна играть в видеоигры на высоком уровне и одновременно управлять более чем 10 типами роботов.
Timeline
Ограничения языковых моделей и концепция обучения на видеоиграх
Традиционные языковые модели работают пошагово и предсказывают токены в текстовом пространстве, что затрудняет их применение в физических средах. В качестве альтернативы используется крупнейший рекордер видеоигр Metal, фиксирующий связь между визуальными кадрами и реальными действиями пользователей с контроллеров. Это создает основу для обучения компьютерного зрения на основе нативных модальностей.
- Языковые модели сталкиваются с фундаментальными ограничениями при решении пространственных и временных задач в реальном мире.
- Игровой рекордер Metal собирает данные о действиях игроков в десятках тысяч различных видеоигр.
- Пространство действий в видеоиграх и при телеуправлении роботами во многом совпадает благодаря стандартным игровым контроллерам.
Масштабирование данных и модели мира MIRA
Объем данных, собираемый за полдня работы системы, сопоставим с тем, что передовые лаборатории используют для обучения робототехники. Вместо предсказания низкоуровневых крутящих моментов моторов модели прогнозируют управляющие команды на основе пикселей. Подход компании сосредоточен на создании собственных моделей мира для генерации сред и быстрого тестирования агентов.
- Система обрабатывает полтора триллиона токенов действий ежемесячно при объеме загрузок в миллиарды видео в год.
- Модели мира MIRA используются для генерации дополнительных сред обучения без необходимости дорогих симуляций.
- Высокая плотность действий в играх позволяет успешно решать сложные робототехнические задачи вроде управления дронами.
Релиз моделей, хакатоны и сферы применения
Разрабатываемые модели способны работать в интерфейсах компьютеров и управлять роботами в реальном времени, открывая возможности для создания новых бизнесов и вспомогательных технологий. Компания активно набирает инженеров в команды моделирования мира, политики агентов и генерации данных. В отличие от архитектур JEPA, прямая интеграция данных о действиях обеспечивает высокую практичность моделей в краткосрочной перспективе.
- Ранний доступ к единым мультимодальным моделям для игр и робототехники открывается в конце года.
- Организуются хакатоны для разработчиков в Нью-Йорке и Лондоне для тестирования новых архитектур.
- Подход отличается от концепции JEPA тем, что опирается на прямые метки действий вместо выводимых.
Description
Pim de Witte of General Intuition, the team behind the Medal game recorder, argues that models built to act in space and time need a different design than LLMs, which work turn by turn. His models take in frames and send out actions continuously, the way a gamer plays. Because game controllers already run most robots, Medal's game clips (about a billion videos a year and over 1.5 trillion action tokens a month) become training data, and one model can play games at a high level and control more than 10 types of robots. He also previews early access, accessibility uses and hackathons in New York and London. Chapters: 0:00 Intro 0:41 Why acting is different from predicting 1:54 Starting with Medal, the game recorder 2:27 Game controllers already run robots 3:28 How LLMs and action models differ 5:21 Use the controller, skip the motor math 6:21 1.5 trillion action tokens a month 7:14 World models and environments 8:55 Why games are so action-dense 9:52 One model, 10+ robots 12:03 What you can build on top 13:36 Accessibility uses 14:54 The team and hackathons 17:10 Q&A: how it differs from JEPA Pim de Witte https://generalintuition.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!