Les robots seront entraînés sur les jeux vidéo - Pim de Witte, General Intuition

Highlights

• La plateforme Metal enregistre environ un milliard de vidéos de jeux vidéo par an, avec un objectif de trois milliards cette année.

• Les données collectées par Metal représentent plus de 1 500 milliards de jetons d'action par mois.

• Le volume de données d'entraînement pour la robotique que les laboratoires de pointe utilisent actuellement est collecté par Metal en un seul demi-jour.

• Le modèle développé peut jouer à des jeux vidéo tout en contrôlant plus de dix types de robots différents en utilisant les mêmes primitives d'entrée et de sortie.

Timeline

1. 00:12 - 01:53

   Fondements de l'architecture et comparaison avec les LLM

   Cette section introduit les limites des modèles de langage textuels face aux environnements physiques dynamiques. L'analogie du bonhomme de neige Olaf illustre la nécessité d'observer en agissant constamment, ce qui distingue la robotique native des approches textuelles traditionnelles.

   • Les modèles de langage actuels prédisent des jetons de manière autorégressive et fonctionnent par tours.
   • L'intelligence humaine repose sur l'observation continue pendant l'action, à l'instar des architectures natives développées par General Intuition.
   • Les LLM présentent des limites fondamentales pour résoudre des problèmes spatiaux et temporels en temps réel.
2. 01:53 - 06:50

   Utilisation des jeux vidéo comme source de données d'action

   L'entreprise exploite les sessions de jeux vidéo pour s'affranchir de la prédiction complexe des couples moteurs physiques. Les utilisateurs humains commandent les jeux avec des manettes, fournissant un volume massif de données d'action directement transposables aux robots.

   • La plateforme Metal sert d'enregistreur de jeux vidéo à grande échelle pour capturer des dizaines de milliers de jeux.
   • L'espace d'action des jeux vidéo et celui des manettes de robots partagent des similitudes structurelles directes.
   • Le modèle associe des entrées visuelles à des actions sémantiques étiquetées issues des touches et des manettes.
3. 06:50 - 11:00

   Mise à l'échelle et avantages des modèles d'action

   L'approche parie sur la mise à l'échelle de l'espace des pixels et des actions de la même manière qu'Anthropic a mis à l'échelle l'espace du code. Cette méthode permet d'obtenir un agent général capable d'opérer sur des ordinateurs et dans le monde réel.

   • Metal traite actuellement un milliard de vidéos par an et vise trois milliards.
   • La quantité de données collectées en un demi-jour équivaut au total des données utilisées par les laboratoires de robotique actuels.
   • La densité élevée d'actions par minute (APM) dans les jeux vidéo permet de piloter des systèmes complexes comme des drones.
4. 11:00 - 18:43

   Cas d'usage, déploiement et perspectives

   Les modèles peuvent s'intégrer avec des orchestrateurs comme Gemini pour la planification à long terme. L'équipe cherche à collaborer avec des ingénieurs et organise des événements pour présenter le contrôle simultané de robots et d'interfaces numériques.

   • Un accès anticipé aux modèles est prévu pour la fin du mois de novembre ou le début du mois de décembre.
   • Les applications incluent l'évaluation d'interfaces UI/UX, l'aide à l'accessibilité informatique et l'orchestration de laboratoires scientifiques.
   • Des hackathons sont organisés à New York et à Londres pour permettre aux développeurs de tester les modèles en avant-première.