Robot Akan Dilatih Menggunakan Video Game - Pim de Witte, General Intuition

Highlights

• Metal merekam puluhan ribu video game berbeda dan mengumpulkan hingga 3 miliar video per tahun pada tahun 2026.

• Jumlah data yang dikumpulkan Metal dalam setengah hari setara dengan total data yang digunakan oleh laboratorium terdepan untuk melatih model robotika saat ini.

• Model kecerdasan buatan dilatih menggunakan masukan visual berupa piksel dan mengeluarkan tindakan secara langsung seperti halnya manusia bermain video game.

• Pendekatan ini memungkinkan satu model tunggal untuk memainkan video game pada tingkat tertinggi sekaligus mengendalikan lebih dari 10 jenis robot yang berbeda.

Timeline

1. 00:12 - 01:53

   Perbedaan Mendasar Antara LLM dan Model Tindakan Berbasis Visi

   Sebagian besar demo kecerdasan buatan di media sosial menggunakan LLM yang tidak dirancang untuk memahami ruang dan waktu secara fisik. Pendekatan alternatif berfokus pada pemrosesan informasi visual secara terus-menerus untuk menghasilkan tindakan nyata tanpa perantara teks.

   • Model bahasa besar (LLM) bekerja dengan memprediksi token teks secara autoregresif dan memiliki keterbatasan mendasar dalam menyelesaikan masalah robotika.
   • Arsitektur baru dirancang agar terus mengamati lingkungan saat sedang bertindak, menyerupai cara manusia beroperasi.
   • Model khusus yang memproses piksel dan tindakan secara langsung jauh lebih cocok untuk menangani tugas fisik dibandingkan model berbasis teks.
2. 01:53 - 06:21

   Pemanfaatan Video Game Sebagai Sumber Data Pelatihan Robot

   Manusia mengendalikan robot jarak jauh menggunakan otak dan pengendali yang sama saat bermain game. Dengan melabeli tindakan dari rekaman video game, model visi dapat mempelajari hubungan antara apa yang dilihat oleh mata dan tombol apa yang harus ditekan.

   • Metal beroperasi sebagai perekam video game terbesar di dunia yang menghubungkan masukan visual dengan tindakan pengendali game secara akurat.
   • Ruang tindakan dalam video game dan operasi jarak jauh di dunia nyata memiliki kesamaan karena menggunakan perangkat pengendali yang serupa.
   • Model berbasis visi menerima bingkai gambar dan teks perintah, lalu mengeluarkan tindakan tombol yang sesuai secara semantik.
3. 06:21 - 11:03

   Penskalaan Data dan Pengembangan Agen Umum

   Jumlah data pelatihan yang dikumpulkan dalam waktu setengah hari melampaui total data yang digunakan oleh laboratorium lain untuk robotika. Hal ini menghasilkan agen umum yang mampu menyelesaikan masalah di komputer maupun di dunia fisik dengan kecepatan tinggi.

   • Metal memproses sekitar satu miliar video per tahun dan menuju target 3 miliar video yang menghasilkan 1,5 triliun token tindakan per bulan.
   • Pendekatan penskalaan ruang piksel ini setara dengan cara Anthropic menskalakan ruang pengkodean untuk pembuatan perangkat lunak.
   • Model dunia MIRA dirilis untuk menghasilkan lingkungan tambahan bagi agen agar dapat belajar tanpa simulasi komputer yang mahal.
4. 11:03 - 18:43

   Penerapan Praktis, Akses Awal, dan Rencana Masa Depan

   Model kecerdasan buatan ini dapat diintegrasikan dengan model orkestrator seperti Gemini untuk perencanaan jangka panjang. Pengembang dapat memanfaatkan teknologi ini untuk membangun otomatisasi laboratorium sains, perangkat aksesibilitas, serta simulasi lingkungan interaktif.

   • Akses awal model akan diluncurkan kepada publik melalui daftar tunggu serta serangkaian hackathon di New York City dan London.
   • Model ini dapat dimanfaatkan untuk menguji antarmuka pengguna (UX) dan membantu penyandang disabilitas dalam menggunakan komputer serta bermain game.
   • Perbedaan utama dari pendekatan JEPA terletak pada penggunaan label tindakan langsung secara masif daripada mengandalkan penyimpulan tindakan tersembunyi.