Model Suara AI Baru NVIDIA GILA BANGET! (PersonaPlex)

Narator memperkenalkan Personaplex sebagai model asisten suara baru dari NVIDIA yang beroperasi hampir tanpa jeda. Teknologi utama yang diusung adalah sistem full-duplex yang memungkinkan AI mendengar dan berbicara secara bersamaan, berbeda dengan sistem tradisional yang memproses teks secara berurutan. Hal ini memungkinkan fitur 'back-channeling' seperti gumaman kecil "uh-huh" atau "oke" yang membuat percakapan terasa lebih manusiawi. Arsitektur ini meruntuhkan batasan antara giliran pengguna dan agen melalui pendengaran aktif. Tujuannya adalah agar interaksi AI tidak lagi terasa kaku atau searah bagi pengguna.

Bagian ini menjelaskan bahwa Personaplex dibangun di atas arsitektur MOSHI dengan kapasitas 7 miliar parameter dan menggunakan codec audio neural MIMI. NVIDIA menggunakan kombinasi data yang sangat luas, termasuk 1.200 jam percakapan manusia asli dari Fisher English Corpus untuk mempelajari ritme alami. Selain itu, terdapat 2.000 jam data sintetis yang difokuskan pada peran layanan pelanggan dan dukungan teknis. Hasilnya adalah model yang mampu mengikuti instruksi kompleks sambil tetap mempertahankan nuansa kemanusiaan yang alami. Personaplex terbukti unggul dalam pengujian Service Duplex Bench milik NVIDIA terkait penanganan interupsi dan latensi.

NVIDIA telah merilis kode dan bobot model ini di bawah lisensi terbuka agar bisa digunakan oleh siapa saja dalam proyek pribadi. Namun, narator menekankan perlunya kartu grafis yang kuat dengan minimal VRAM 24 GB untuk menjaga latensi tetap rendah. Proses instalasi didemonstrasikan menggunakan kontainer RunPod A40 dengan ruang penyimpanan setidaknya 50 GB hingga 100 GB. Langkah teknis meliputi klon repositori GitHub, instalasi codec audio Opus, dan penggunaan token Hugging Face untuk mengunduh model. Penyiapan ini penting agar pengguna dapat menjalankan server MOSHI secara lokal atau di cloud.

Narator melakukan demo langsung dengan skenario layanan pelanggan bank bernama First Neuron Bank. Dalam simulasi ini, narator mencoba menguji batas logika AI dengan berpura-pura ingin merampok bank tersebut. AI menunjukkan kemampuan luar biasa dalam tetap tenang dan mengikuti protokol keamanan, seperti meminta verifikasi nama dan tanggal lahir meskipun diprovokasi. Terlihat bagaimana AI mampu menangani interupsi dan tetap pada perannya sebagai asisten bank yang profesional. Skenario ini membuktikan efektivitas Personaplex dalam menjaga alur percakapan yang berorientasi pada tugas spesifik.

Demo berlanjut dengan pengujian suara laki-laki yang diprogram menjadi teman menyebalkan yang hanya ingin membahas tentang anjing. Percakapan menjadi aneh ketika AI mulai bingung mengenai tahun saat ini, antara 2011 dan 2026. Hal ini menunjukkan bahwa meskipun canggih, model masih memiliki kerentanan terhadap kebingungan logika jika input pengguna tidak konsisten. Narator menyimpulkan bahwa model ini tidak sepenuhnya 'tahan banting' dan bisa mulai berbicara melantur jika terlalu ditekan. Meskipun demikian, kemampuan peralihan topik secara real-time tetap terlihat sangat responsif.

Skenario terakhir menguji karakter teman yang hanya berbicara bahasa Italia, namun terjadi kegagalan sistem yang cukup lucu. AI mengalami 'gangguan mental' atau loop tak berujung di mana ia mengulang-ulang kata "The Godfather" dan kata "ya" selama beberapa menit. Kejadian ini menjadi pengingat penting bahwa teknologi model suara end-to-end ini masih dalam tahap pengembangan dan bisa mengalami malfungsi. Narator akhirnya menutup telepon karena AI tidak lagi memberikan respons yang masuk akal. Video berakhir dengan menunjukkan sisi mentah dari teknologi AI mutakhir yang masih memiliki ruang besar untuk perbaikan.