¡Este nuevo motor ejecuta IA local usando 10 veces menos RAM! (Cactus)

하이라이트

• Cactus reduce el uso de memoria RAM hasta 10 veces mediante un sistema de mapeo de memoria de copia cero.

• El motor Cactus sustituye el formato tradicional GGUF por un formato propietario denominado .CACT.

• El sistema prioriza la unidad de procesamiento neural (NPU) en lugar de la GPU para ejecutar la inferencia de forma directa.

• Un enrutador híbrido basado en la confianza alterna automáticamente entre la NPU local y modelos en la nube como Gemini 2.5 Flash.

• Las pruebas de transcripción en tiempo real en un iPhone 12 Pro registran una latencia media de 260 milisegundos en modo local.

타임라인

1. 00:00 - 01:30

   Mitigación del cuello de botella de memoria en dispositivos móviles

   La ejecución de modelos de IA locales en hardware periférico genera un consumo severo de batería y sobrecarga de memoria. El gestor de memoria de los sistemas operativos móviles penaliza de forma agresiva estos picos de consumo deteniendo los procesos de inmediato. Mediante la tecnología de copia cero, Cactus introduce únicamente los tensores estrictamente necesarios en el ciclo de cómputo activo. Este procedimiento permite ejecutar modelos de gran tamaño sin saturar los límites de la memoria RAM dinámica.

   • Los sistemas operativos móviles cierran las aplicaciones de IA debido a los picos drásticos en el consumo de memoria RAM.
   • El mapeo de memoria de copia cero de Cactus carga los pesos del modelo directamente desde el almacenamiento del dispositivo.
   • El formato propietario .CACT reemplaza al estándar GGUF para habilitar el mapeo eficiente de tensores específicos.
2. 01:30 - 02:11

   Optimización de hardware mediante el uso prioritario de la NPU

   La mayoría de los motores de inferencia locales delegan la carga de trabajo de forma predeterminada en la GPU. Los chips móviles modernos incorporan silicio dedicado exclusivamente al procesamiento de redes neuronales artificiales. Cactus se conecta directamente con estos componentes de hardware para acelerar la velocidad del procesamiento de datos. Esta arquitectura suprime la degradación de rendimiento asociada a las capas intermedias de traducción de software.

   • Cactus prioriza el uso de la NPU sobre la GPU para ejecutar los procesos de inferencia local.
   • La comunicación directa con el silicio de Apple, Qualcomm y MediaTek elimina las capas tradicionales de traducción de software.
   • El panel de control del motor distribuye modelos optimizados específicamente para las unidades de multiplicación de matrices.
3. 02:11 - 03:07

   Gestión de costos y capacidades mediante el enrutador híbrido

   Los modelos locales instalados en dispositivos periféricos presentan un límite físico en su capacidad de razonamiento y en el tamaño de su ventana de contexto. Las peticiones sencillas permanecen confinadas en la NPU para garantizar la privacidad, la velocidad del proceso y la gratuidad del servicio. Cuando el sistema detecta instrucciones complejas o que demandan un análisis masivo, transfiere la carga a un modelo de frontera en la nube. Esta gestión híbrida optimiza los costos operativos en entornos de producción sin deteriorar la experiencia de usuario.

   • El enrutador híbrido alterna el procesamiento entre la NPU local y los servidores de la nube según la complejidad de la tarea.
   • Un sistema basado en el nivel de confianza determina de manera autónoma el destino de cada solicitud.
   • La conmutación por error se ejecuta en segundo plano sin requerir modificaciones en el código de la aplicación.
4. 03:07 - 05:18

   Prueba de rendimiento y latencia en hardware antiguo

   La implementación práctica de la tecnología se evaluó mediante una aplicación desarrollada en Swift utilizando el paquete Swift Cactus. El dispositivo de prueba, un iPhone 12 Pro, demostró la viabilidad de realizar transcripciones de audio en tiempo real con transmisión en vivo bajo un entorno local. El incremento de latencia observado al cambiar al modo en la nube se debe al viaje de ida y vuelta de los datos hacia el servidor. No obstante, dicha infraestructura descentralizada ofrece un respaldo necesario para procesamientos que superan la capacidad física del hardware local.

   • La transcripción local con el modelo de voz Parakeet registra una latencia media de 260 milisegundos en un iPhone 12 Pro.
   • La alternativa en la nube con Gemini 2.5 Flash eleva el tiempo de respuesta hasta los 2000 milisegundos por cada bloque de tres segundos.
   • El procesamiento en la nube se reserva de forma estratégica para el análisis de imágenes pesadas o tareas con alta carga de cómputo.