Robots werden mit Videospielen trainiert – Pim de Witte, General Intuition
원제 · Robots Will Be Trained on Video Games - Pim de Witte, General Intuition
핵심 요약
Durch das Training von Basismodellen mit Milliarden von Videospiel-Aktionstoken erreicht General Intuition eine Echtzeit-Steuerung von Robotern und Computersystemen.
하이라이트
Das Unternehmen betreibt die weltweit größte Videospiel-Aufzeichnungsplattform namens Metal, die auf jährlich drei Milliarden hochgeladene Videos und über 1,5 Billionen Aktionstoken pro Monat ausgerichtet ist.
Die gesamte für das Training von Robotikmodellen eingesetzte Datenmenge branchenführender Labore wird von Metal innerhalb eines halben Tages gesammelt.
Die entwickelten Modelle verarbeiten kontinuierlich Pixel als Eingabe und geben direkt Aktionen aus, ähnlich der Funktionsweise von Videospielen.
Das System steuert aktuell über zehn verschiedene Robotertypen und spielt gleichzeitig Videospiele auf höchstem Niveau.
Die Veröffentlichung und der frühzeitige Zugriff auf diese neuen Modelle erfolgen für registrierte Partner im November oder Dezember.
타임라인
Grundlegende Unterschiede zwischen LLMs und nativen Architekturen
Während klassische LLMs hervorragend für textbasierte Aufgaben und Programmierung geeignet sind, fehlt ihnen die Fähigkeit zur kontinuierlichen Beobachtung in Echtzeit. Der Vergleich mit der Filmfigur Olaf veranschaulicht das Prinzip, dass Handeln und Beobachten Hand in Hand gehen müssen, um physikalische Umgebungen und Robotikprobleme adäquat zu bewältigen.
- Große Sprachmodelle (LLMs) sagen Token autoregressiv voraus und stoßen bei raum-zeitlichen Umgebungen an Grenzen.
- Zweckgebundene Modelle beobachten permanent während des Handelns im Gegensatz zu rundenbasierten LLMs.
- Der Ansatz verknüpft visuelle Daten direkt mit semantisch bewerteten Aktionen.
Die Rolle von Videospielen und der Datensatz von Metal
Da Roboter unterhalb bestimmter Freiheitsgrade standardmäßig mit Gamecontrollern ausgeliefert werden, existiert eine direkte Brücke zwischen Gaming und Robotik. Metal verknüpft Videoaufnahmen von Zehntausenden Videospielen mit den tatsächlichen Eingaben und versieht diese mit semantischen Labels, wodurch visionsbasierte Modelle entstehen.
- Metal dient als riesiger Videospielrekorder und fungiert als Internet für das Training.
- Der Aktionsraum von Videospielen mittels Gamecontrollern stimmt in vielen Fällen mit der realen Teleoperation von Robotern überein.
- Das Modell verarbeitet Bilder und Textbefehle als Eingabe und gibt valide Controller-Aktionen aus.
Skalierung und Weltmodelle für universelle Agenten
Die Strategie setzt darauf, den Pixelraum im selben Maße zu skalieren wie das Programmieren bei Anthropicskaliert wurde. Durch die hohe Aktionsdichte von Spielen lassen sich komplexe Workloads wie Drohnenflüge effizient abbilden. Dies führt zu universellen Agenten, die sowohl in Computersystemen als auch in der realen Welt agieren.
- Metal verzeichnet jährlich rund eine Milliarde hochgeladene Videos und steuert auf drei Milliarden zu.
- Das Datenvolumen von Frontier Labs wird von Metal innerhalb eines halben Tages generiert.
- Weltmodelle erzeugen zusätzliche Umgebungen, in denen die Agenten ohne teure digitale Zwillinge lernen können.
Markteinführung, Anwendungen und Community-Ausblick
Das Team zeigt erste Live-Demos in New York City und bereitet die Veröffentlichung von Checkpoints vor. Neben industriellen Anwendungen in Laboratorien und der UX-Analyse eröffnen sich neue Möglichkeiten für Assistenzsysteme am Computer. Abschließend wird in der Fragerunde der Unterschied zu JEPA erläutert, wobei der direkte Besitz von Aktionsdaten als pragmatischerer Ansatz hervorgehoben wird.
- Die Veröffentlichung der Modelle und der frühe Zugriff für Kunden erfolgen im November oder Dezember.
- Geplant sind Hackathons in New York City und London Mitte November.
- Die Technologie ermöglicht Barrierefreiheitshilfen, bei denen das Modell komplexe Tastenaktionen für eingeschränkte Nutzer übernimmt.
설명
Pim de Witte of General Intuition, the team behind the Medal game recorder, argues that models built to act in space and time need a different design than LLMs, which work turn by turn. His models take in frames and send out actions continuously, the way a gamer plays. Because game controllers already run most robots, Medal's game clips (about a billion videos a year and over 1.5 trillion action tokens a month) become training data, and one model can play games at a high level and control more than 10 types of robots. He also previews early access, accessibility uses and hackathons in New York and London. Chapters: 0:00 Intro 0:41 Why acting is different from predicting 1:54 Starting with Medal, the game recorder 2:27 Game controllers already run robots 3:28 How LLMs and action models differ 5:21 Use the controller, skip the motor math 6:21 1.5 trillion action tokens a month 7:14 World models and environments 8:55 Why games are so action-dense 9:52 One model, 10+ robots 12:03 What you can build on top 13:36 Accessibility uses 14:54 The team and hackathons 17:10 Q&A: how it differs from JEPA Pim de Witte https://generalintuition.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!