Los robots serán entrenados en videojuegos - Pim de Witte, General Intuition
Original · Robots Will Be Trained on Video Games - Pim de Witte, General Intuition
Key Takeaway
La plataforma Metal procesa miles de millones de vídeos de videojuegos para entrenar modelos de acción en tiempo real capaces de controlar tanto ordenadores como múltiples tipos de robots.
Highlights
Metal opera la grabadora de videojuegos más grande del mundo y registra miles de millones de vídeos de juego al año para entrenar modelos de inteligencia artificial.
Los datos procesados alcanzan tres mil millones de vídeos anuales, lo que genera más de un billón y medio de tokens de acción al mes.
Los modelos desarrollados controlan más de diez tipos distintos de robots utilizando primitivas idénticas en tiempo real.
El enfoque convierte píxeles de entrada directamente en acciones de teclado, ratón o mandos de juego, replicando el comportamiento humano.
Timeline
Fundamentos y diferencias con los modelos de lenguaje
El análisis de la inteligencia artificial en robótica suele compararse con comportamientos observados en la ficción, donde la capacidad de adaptación surge de la observación directa durante la acción. Los modelos de lenguaje presentan limitaciones fundamentales al operar en entornos espaciales y temporales continuos.
- Los modelos de lenguaje grande predicen tokens de forma autorregresiva sin observar continuamente su propia ejecución en entornos dinámicos.
- Las arquitecturas nativas de control observan el entorno de manera simultánea mientras ejecutan acciones.
Captura de datos de videojuegos y espacio de acciones
Los datos de vídeo capturados asocian entradas de control y acciones con fotogramas reales, permitiendo etiquetar el significado semántico de cada movimiento. Este método evita la predicción directa de valores exactos de par motor y aprovecha los mandos estándar de la industria.
- Metal recopila grabaciones de decenas de miles de videojuegos diferentes mediante su plataforma de grabación.
- El espacio de acción de los videojuegos y el de la teleoperación robótica coinciden al utilizar los mismos mandos de juego.
Escalado de datos y modelos del mundo
La estrategia de escalado se centra en convertir píxeles en acciones de manera similar a cómo otros laboratorios escalaron la programación de código. El uso de datos densos provenientes de videojuegos facilita la gestión de tareas complejas con alta frecuencia de acciones por minuto.
- La cantidad de datos recolectada por Metal en medio día equivale al volumen total utilizado hoy por los principales laboratorios de robótica.
- Los modelos del mundo permiten generar entornos virtuales adicionales para acelerar el aprendizaje de los agentes.
Lanzamientos, accesibilidad y comunidad
Las aplicaciones prácticas incluyen mejoras en accesibilidad informática, permitiendo que personas con movilidad reducida controlen interfaces y videojuegos mediante predicciones de teclado. El equipo busca expandir su plantilla en Nueva York y coordinar el acceso temprano a través de listas de espera.
- Los nuevos modelos de agentes se desplegarán en acceso anticipado a finales de año.
- Se organizarán hackatones presenciales en Nueva York y Londres para que los desarrolladores prueben las capacidades del sistema.
Description
Pim de Witte of General Intuition, the team behind the Medal game recorder, argues that models built to act in space and time need a different design than LLMs, which work turn by turn. His models take in frames and send out actions continuously, the way a gamer plays. Because game controllers already run most robots, Medal's game clips (about a billion videos a year and over 1.5 trillion action tokens a month) become training data, and one model can play games at a high level and control more than 10 types of robots. He also previews early access, accessibility uses and hackathons in New York and London. Chapters: 0:00 Intro 0:41 Why acting is different from predicting 1:54 Starting with Medal, the game recorder 2:27 Game controllers already run robots 3:28 How LLMs and action models differ 5:21 Use the controller, skip the motor math 6:21 1.5 trillion action tokens a month 7:14 World models and environments 8:55 Why games are so action-dense 9:52 One model, 10+ robots 12:03 What you can build on top 13:36 Accessibility uses 14:54 The team and hackathons 17:10 Q&A: how it differs from JEPA Pim de Witte https://generalintuition.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!