Mesin Baru Ini Menjalankan AI Lokal Menggunakan RAM 10x Lebih Sedikit! (Cactus)

하이라이트

• Mesin inferensi Cactus mengatasi pemotongan paksa aplikasi oleh manajer memori sistem operasi seluler dengan menggunakan pemetaan memori zero-copy.

• Format file khusus bernama .CACT menggantikan format GGUF tradisional untuk memungkinkan pemetaan bobot model secara langsung dari penyimpanan perangkat edge.

• Router hibrida mengalihkan pemrosesan secara otomatis ke model cloud Gemini 2.5 Flash jika model lokal mendeteksi tugas yang terlalu rumit atau membutuhkan context window besar.

• Pengujian transkripsi waktu nyata secara lokal menggunakan model Parakeet pada iPhone 12 Pro menghasilkan latensi rata-rata sebesar 260 milidetik.

• Transkripsi batch berdurasi tiga detik di cloud memerlukan waktu rata-rata sekitar 2000 milidetik karena faktor perjalanan pulang pergi ke server data.

타임라인

1. 00:00 - 01:30

   Solusi Overhead Memori pada Perangkat Edge

   Menjalankan model AI pada perangkat seluler dan edge sering kali menguras baterai dan memicu penghentian paksa oleh sistem operasi. Cactus mengatasi hambatan overhead memori ini dengan tidak memuat seluruh model ke dalam RAM. Bobot model dipetakan langsung dari penyimpanan lokal menggunakan format khusus .CACT, sehingga kemampuan penalaran model besar tetap berjalan tanpa risiko penutupan aplikasi.

   • Manajer memori sistem operasi seluler sering menghentikan paksa aplikasi AI lokal akibat lonjakan penggunaan RAM.
   • Pemetaan memori zero-copy menarik tensor tertentu ke dalam siklus komputasi aktif hanya saat dibutuhkan.
   • Format file .CACT menggantikan format GGUF tradisional untuk mengoptimalkan pemetaan langsung dari penyimpanan perangkat.
2. 01:30 - 03:07

   Optimalisasi NPU dan Mekanisme Router Hibrida

   Sebagian besar mesin lokal menggunakan GPU secara default, tetapi Cactus memprioritaskan unit pemrosesan saraf atau NPU pada chip seperti Apple, Qualcomm, atau MediaTek. Dasbor sistem menyediakan daftar model yang dioptimalkan khusus untuk unit perkalian matriks ini. Saat model lokal mencapai batas penalarannya, router hibrida memindahkan tugas rumit atau bermuatan konteks besar ke cloud, sehingga biaya tetap rendah tanpa mengorbankan pengalaman pengguna.

   • Cactus berkomunikasi langsung dengan silikon khusus jaringan saraf pada chip modern untuk melewati lapisan penerjemahan GPU.
   • Router hibrida menggunakan sistem berbasis tingkat keyakinan untuk membagi tugas antara model lokal dan model cloud.
   • Pengalihan permintaan ke frontier model di cloud berjalan otomatis di latar belakang tanpa mengubah kode pengguna.
3. 03:07 - 05:15

   Pengujian Performa Transkripsi Lokal dan Cloud

   Uji coba nyata dilakukan melalui aplikasi Swift kecil untuk membandingkan performa transkripsi waktu nyata. Model lokal Parakeet yang berjalan pada perangkat lama seperti iPhone 12 Pro mampu memberikan latensi rendah sebesar 260 milidetik dalam mode live streaming. Sebaliknya, alternatif cloud melalui Gemini 2.5 Flash membutuhkan waktu 2000 milidetik untuk transkripsi batch karena waktu tempuh data ke server, menjadikan opsi cloud lebih ideal untuk tugas berat seperti analisis gambar intensif.

   • Aplikasi Swift kustom menggunakan model bicarakan Parakeet untuk transkripsi lokal dan Gemini di cloud.
   • Proses transkripsi lokal pada perangkat iPhone 12 Pro menghasilkan latensi rata-rata sebesar 260 milidetik.
   • Transkripsi berbasis cloud menggunakan Gemini 2.5 Flash mencatat waktu rata-rata 2000 milidetik untuk audio berdurasi tiga detik.