रोबोट्स को वीडियो गेम पर प्रशिक्षित किया जाएगा - पिम डे विट्टे, जनरल इनट्यूशन
Original · Robots Will Be Trained on Video Games - Pim de Witte, General Intuition
Key Takeaway
वीडियो गेम खेलने वाले डेटा और एक्शन टोकन के विशाल पैमाने का उपयोग करके रोबोट्स और एजेंटों को पिक्सेल से सीधे नियंत्रित करने वाले सामान्य फाउंडेशन मॉडल तैयार किए जा रहे हैं।
Highlights
मेटल वीडियो गेम रिकॉर्डर प्रति वर्ष लगभग एक अरब अपलोड किए गए वीडियो रिकॉर्ड करता है।
यह सिस्टम प्रति माह डेढ़ खरब से अधिक एक्शन टोकन की ओर बढ़ रहा है।
फ्रंटियर लैब्स द्वारा रोबोटिक्स मॉडल को प्रशिक्षित करने के लिए उपयोग किया जाने वाला कुल डेटा मेटल द्वारा आधे दिन में एकत्र किया जाता है।
विकसित किए जा रहे मॉडल उच्चतम स्तर पर वीडियो गेम खेल सकते हैं और एक जैसे प्रिमिटिव्स का उपयोग करके 10 से अधिक प्रकार के रोबोटों को नियंत्रित कर सकते हैं।
Timeline
वीडियो गेम डेटा और रोबोटिक्स का संबंध
बुद्धिमत्ता के काम करने के तरीके को समझाते हुए यह स्पष्ट किया गया है कि ओलाव जैसे उदाहरणों की तरह मॉडल काम करते समय निरंतर निरीक्षण करते हैं। वीडियो गेम की एक्शन स्पेस और वास्तविक दुनिया की एक्शन स्पेस कई मामलों में एक समान होती है, जिससे रोबोट नियंत्रण आसान हो जाता है।
- एलएलएम और रोबोटिक्स समस्याओं के समाधान में बुनियादी सीमाएँ मौजूद हैं।
- मेटल दुनिया का सबसे बड़ा वीडियो गेम रिकॉर्डर है, जो दसियों हज़ार अलग-अलग वीडियो गेम के डेटा को रिकॉर्ड करता है।
- इंसान उसी मस्तिष्क और कंट्रोलर से रोबोट को टेलीऑपरेट कर सकते हैं जिससे उन्होंने वीडियो गेम खेला था।
पिक्सेल-आधारित मॉडल और एक्शन टोकन का पैमाना
विज़न-आधारित मॉडल कंप्यूटर-उपयोग मॉडल की तरह काम करते हैं जो पिक्सेल से एक्शन कन्वर्टर के रूप में कार्य करते हैं। डेटा के इस विशाल पैमाने और उच्च एपीएम (APM) के कारण रोबोटिक्स वर्कलोड को संभालना और सामान्य एजेंट तैयार करना संभव हो पाता है।
- मॉडल इनपुट के रूप में फ्रेम और टेक्स्ट प्रॉम्प्ट प्राप्त करके स्वीकृत क्रिया का आउटपुट देता है।
- मेटल प्रति वर्ष लगभग एक अरब अपलोड किए गए वीडियो देखता है और इस वर्ष 3 अरब की राह पर है।
- फ्रंटियर लैब्स द्वारा रोबोटिक्स प्रशिक्षण के लिए उपयोग किया जाने वाला कुल डेटा आधे दिन में एकत्र हो जाता है।
सिमुलेशन, मॉडल रिलीज़ और भविष्य की योजनाएं
वर्ल्ड मॉडल्स और सिमुलेशन वातावरण के माध्यम से मॉडल्स को प्रशिक्षित करने के अतिरिक्त माहौल तैयार किए जाते हैं। ये मॉडल किसी इंसान की तरह कंप्यूटर का उपयोग कर सकते हैं, जिससे एसेसिबिलिटी और वैज्ञानिक अनुसंधान जैसे विभिन्न क्षेत्रों में नए व्यवसायों और उपकरणों का निर्माण होगा।
- मल्टी-एक्शन भविष्यवाणी और गेमर्स की एक्शन डेंसिटी का उपयोग जटिल रोबोटिक्स वर्कलोड में किया जाता है।
- नवंबर के अंत या दिसंबर की शुरुआत में इन मॉडल्स का अर्ली एक्सेस रोल आउट किया जाएगा।
- न्यूयॉर्क और लंदन में हैकाथॉन आयोजित की जाएंगी जहाँ उपयोगकर्ताओं को मॉडल्स पर हाथ आजमाने का मौका मिलेगा।
Description
Pim de Witte of General Intuition, the team behind the Medal game recorder, argues that models built to act in space and time need a different design than LLMs, which work turn by turn. His models take in frames and send out actions continuously, the way a gamer plays. Because game controllers already run most robots, Medal's game clips (about a billion videos a year and over 1.5 trillion action tokens a month) become training data, and one model can play games at a high level and control more than 10 types of robots. He also previews early access, accessibility uses and hackathons in New York and London. Chapters: 0:00 Intro 0:41 Why acting is different from predicting 1:54 Starting with Medal, the game recorder 2:27 Game controllers already run robots 3:28 How LLMs and action models differ 5:21 Use the controller, skip the motor math 6:21 1.5 trillion action tokens a month 7:14 World models and environments 8:55 Why games are so action-dense 9:52 One model, 10+ robots 12:03 What you can build on top 13:36 Accessibility uses 14:54 The team and hackathons 17:10 Q&A: how it differs from JEPA Pim de Witte https://generalintuition.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!