سيتم تدريب الروبوتات على ألعاب الفيديو - Pim de Witte, General Intuition
Original · Robots Will Be Trained on Video Games - Pim de Witte, General Intuition
Key Takeaway
يؤدي تدريب النماذج البصرية على بيانات ألعاب الفيديو الضخمة إلى تحويل البكسلات إلى أفعال فورية للتحكم في الروبوتات وحواسيب المستخدمين.
Highlights
تستخدم الشركة مسجل ألعاب فيديو لتسجيل عشرات الآلاف من ألعاب الفيديو واستخراج تريليون ونصف تريليون رمز أفعال شهرياً.
تتلقى النماذج إطارات بصرية باستمرار وتتنبأ بالأفعال المطلوبة تماماً كما يحدث في ألعاب الفيديو.
تتحكم النماذج الجديدة في أكثر من 10 أنواع مختلفة من الروبوتات وتلعب ألعاب الفيديو بأعلى مستوى.
تجمع الشركة كمية بيانات روبوتية في نصف يوم تفوق ما تجمعه مختبرات الحدود اليوم في تدريب نماذج الروبوتات.
تتضمن خطط الشركة تنظيم ثلاثة هاكاثونات في مدينة نيويورك ولندن لتمكين المطورين من تجربة النماذج بأنفسهم.
Timeline
الفرق بين نماذج اللغات والأنظمة التفاعلية
تعتمد نماذج اللغات على التنبؤ بالنص التالي ضمن خطوات متبادلة، مما يصعب عليها التعميم الفعال عبر الزمان والمكان في البيئات الواقعية. تتطلب الروبوتات تفاعلاً مستمراً وملاحظة دقيقة أثناء الحركة على عكس النصوص الثابتة.
- تواجه نماذج اللغات الكبيرة قيوداً أساسية عند محاولة حل مشكلات الروبوتات والعالم الحقيقي.
- تعتمد البنى الجديدة على الملاحظة المستمرة والتفاعل المباشر أثناء التصرف بدلاً من التنبؤ الذاتي بالرموز وحدها.
الاعتماد على مسجلات ألعاب الفيديو لجمع البيانات
تستخدم آلاف سلاسل التوريد والروبوتات وحدات تحكم تشبه ألعاب الفيديو، مما يتيح استغلال بيانات اللعب لتدريب نماذج الرؤية. تترجم هذه البيانات الإطارات البصرية إلى أفعال دقيقة يفهمها النموذج ويستخدمها للتفاعل الفوري مع البيئة.
- أنشأت الشركة مسجل ألعاب فيديو يسجل أنشطة اللعب لعشرات الآلاف من الألعاب.
- تتماثل مساحة أفعال ألعاب الفيديو مع مساحة أفعال العمليات في العالم الحقيقي نظراً لارتباطها بوحدات التحكم.
- تُربط المدخلات والأفعال بالإطارات الفعلية مع تسمية الأفعال لفهم المعنى الدلالي وراء كل حركة.
حجم البيانات الضخم ومقارنته بالمختبرات الأخرى
تتجاوز كمية البيانات التي تعالجها الشركة المعدلات التقليدية للمختبرات الأخرى بأضعاف مضاعفة. يتيح هذا الحجم الهائل تدريب وكلاء قادرين على التعامل مع تفاصيل الفيزياء وقيم التنبؤ بدقة عالية دون الحاجة لحسابات محاكاة معقدة ومكلفة.
- تسجل منصة Metal نحو ثلاثة مليارات فيديو سنوياً لتوليد تريليون ونصف تريليون رمز أفعال شهرياً.
- تجمع الشركة في نصف يوم كمية بيانات تعادل ما تجمعه مختبرات الحدود الحالية لتدريب نماذج الروبوتات.
- تتيح النماذج الجديدة بناء وكلاء عامين لحل المشكلات على أجهزة الكمبيوتر وفي العالم الحقيقي.
إطلاق النماذج وحالات الاستخدام المستقبلية
توفر النماذج القادمة قدرات استثنائية للاستخدام في المحاكاة والتحكم بالروبوتات وتجربة المستخدمين. يمكن للمطورين ربط هذه النماذج بمنسقات تخطيط مثل جيميني لتنفيذ مهام معقدة وطويلة الأجل في مختلف المجالات البحثية والصناعية.
- تتميز النماذج الجديدة بسرعتها الفائقة في تنفيذ الأفعال المتعددة في نفس الوقت وبمعدل مرتفع في الدقيقة.
- تتيح النماذج لمستخدمي حواسيب ذوي القدرات المحدودة التحكم الكامل والألعاب عبر مساعدة إدخال الفأرة ولوحة المفاتيح.
- تستعد الشركة لإطلاق الوصول المبكر للنماذج وتنظيم هاكاثونات في نيويورك ولندن.
Description
Pim de Witte of General Intuition, the team behind the Medal game recorder, argues that models built to act in space and time need a different design than LLMs, which work turn by turn. His models take in frames and send out actions continuously, the way a gamer plays. Because game controllers already run most robots, Medal's game clips (about a billion videos a year and over 1.5 trillion action tokens a month) become training data, and one model can play games at a high level and control more than 10 types of robots. He also previews early access, accessibility uses and hackathons in New York and London. Chapters: 0:00 Intro 0:41 Why acting is different from predicting 1:54 Starting with Medal, the game recorder 2:27 Game controllers already run robots 3:28 How LLMs and action models differ 5:21 Use the controller, skip the motor math 6:21 1.5 trillion action tokens a month 7:14 World models and environments 8:55 Why games are so action-dense 9:52 One model, 10+ robots 12:03 What you can build on top 13:36 Accessibility uses 14:54 The team and hackathons 17:10 Q&A: how it differs from JEPA Pim de Witte https://generalintuition.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!