Os robôs serão treinados em videogames - Pim de Witte, General Intuition
Original · Robots Will Be Trained on Video Games - Pim de Witte, General Intuition
Key Takeaway
O treinamento de agentes de inteligência artificial com dados de ação extraídos de videogames permite criar modelos gerais capazes de controlar robôs e computadores em tempo real.
Highlights
O gravador de videogames Metal processa cerca de um bilhão de vídeos carregados por ano, coletando mais de um trilhão e meio de tokens de ação por mês.
A infraestrutura permite treinar agentes gerais capazes de jogar videogames no nível mais alto e controlar mais de 10 tipos de robôs usando as mesmas primitivas.
Os modelos operam convertendo pixels de entrada em ações simultâneas de teclado, mouse ou controle em tempo real.
O acesso antecipado aos modelos e aos mundos virtuais MIRA será lançado entre o final de novembro e o início de dezembro.
Timeline
A analogia dos videogames e a limitação dos LLMs
O texto compara o funcionamento dos modelos com a cena do boneco de neve Olaf no filme Frozen, destacando que a capacidade de observar enquanto age é fundamental. Enquanto os LLMs preveem tokens de texto de forma estática, os sistemas voltados para robótica e computadores exigem uma interação contínua com o ambiente.
- A inteligência artificial atual treina com dados da internet para resolver problemas científicos complexos.
- Os modelos de linguagem grandes (LLMs) funcionam de forma autorregressiva com base em turnos, o que dificulta a generalização em ambientes que envolvem espaço e tempo contínuos.
- A observação constante durante a ação diferencia os modelos nativos de robótica dos LLMs tradicionais.
A utilização de dados de ação de videogames
A estratégia central baseia-se no fato de que os seres humanos utilizam o mesmo cérebro e controles semelhantes tanto para jogar videogames quanto para operar robôs. Ao rotular as ações registradas em milhares de jogos, o modelo aprende a mapear pixels visuais diretamente para comandos de controle.
- A plataforma Metal atua como gravador de videogames para associar entradas e ações visuais a quadros reais.
- O espaço de ações de um videogame e o da teleoperação de robôs coincidem na maioria dos casos.
- O modelo baseado em visão recebe quadros e comandos de texto para prever ações equivalentes às de um controle de jogo ou computador.
Escala de dados e modelos de mundo
O volume de dados em formato de pixels e ações supera em escala o material tradicional de robótica. A abordagem dispensa a necessidade de prever diretamente o torque do motor de um robô, utilizando os controles padronizados que os humanos já empregam nos jogos.
- A quantidade de dados coletada pelo Metal em meio dia equivale ao volume total utilizado hoje por laboratórios de vanguarda em robótica.
- Os modelos de mundo MIRA geram ambientes adicionais para o treinamento autônomo dos agentes.
- A alta densidade de ações em videogames permite operar cargas complexas, como drones, com um número elevado de ações por minuto (APM).
Lançamento, ecossistema e planos futuros
Os novos modelos funcionam em conjunto com sistemas de planejamento de longo prazo, como o Gemini ou o Astra. A tecnologia possibilita aplicações práticas em laboratórios científicos, automação de tarefas e suporte para usuários com mobilidade reduzida.
- O acesso antecipado aos modelos integrados ocorre entre o final de novembro e o início de dezembro.
- Os agentes podem atuar em interfaces de computador para testes de UX e auxílio à acessibilidade.
- Hackathons presenciais acontecem em Nova York e Londres para apresentar as ferramentas aos desenvolvedores.
Description
Pim de Witte of General Intuition, the team behind the Medal game recorder, argues that models built to act in space and time need a different design than LLMs, which work turn by turn. His models take in frames and send out actions continuously, the way a gamer plays. Because game controllers already run most robots, Medal's game clips (about a billion videos a year and over 1.5 trillion action tokens a month) become training data, and one model can play games at a high level and control more than 10 types of robots. He also previews early access, accessibility uses and hackathons in New York and London. Chapters: 0:00 Intro 0:41 Why acting is different from predicting 1:54 Starting with Medal, the game recorder 2:27 Game controllers already run robots 3:28 How LLMs and action models differ 5:21 Use the controller, skip the motor math 6:21 1.5 trillion action tokens a month 7:14 World models and environments 8:55 Why games are so action-dense 9:52 One model, 10+ robots 12:03 What you can build on top 13:36 Accessibility uses 14:54 The team and hackathons 17:10 Q&A: how it differs from JEPA Pim de Witte https://generalintuition.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!