Ce nouveau moteur exécute l'IA locale en utilisant 10x moins de RAM ! (Cactus)

Highlights

• Le moteur d'inférence Cactus réduit l'utilisation de la mémoire RAM lors de l'exécution locale des modèles d'intelligence artificielle sur les appareils mobiles et embarqués.

• La technique du mappage mémoire zero-copy élimine le chargement complet des poids du modèle dans la RAM en les associant directement depuis le stockage.

• Le format de fichier propriétaire .CACT remplace le format traditionnel GGUF pour assurer l'efficacité du mappage mémoire sur les architectures embarquées.

• L'architecture de Cactus communique directement avec les unités de traitement neural (NPU) d'Apple, Qualcomm et MediaTek sans passer par les couches de traduction habituelles.

• Un routeur hybride intégré bascule automatiquement la requête vers un modèle cloud comme Gemini 2.5 Flash lorsque le niveau de confiance du modèle local est insuffisant.

• Les tests de transcription en temps réel sur un iPhone 12 Pro affichent une latence d'environ 260 millisecondes en local contre 2000 millisecondes pour un traitement par lots sur le cloud.

Timeline

1. 00:00 - 01:31

   Optimisation de la mémoire vive par le mappage zero-copy

   Les contraintes matérielles des smartphones entraînent souvent l'arrêt des modèles d'intelligence artificielle par le gestionnaire de mémoire. Au lieu de stocker l'intégralité des poids du modèle dans la RAM, ce moteur lie les données directement au support de stockage. Cette approche préserve les ressources du système tout en maintenant la puissance de raisonnement du grand modèle.

   • Les systèmes d'exploitation mobiles ferment de manière agressive les applications gourmandes en mémoire RAM.
   • Le mappage mémoire zero-copy de Cactus charge uniquement les tenseurs spécifiques dans le cycle de calcul actif au moment de leur utilisation.
   • Le format propriétaire .CACT remplace le format standard GGUF pour optimiser le transfert des données.
2. 01:31 - 03:08

   Exploitation directe des puces NPU et routage hybride

   Les processeurs modernes intègrent des composants dédiés aux calculs matriciels des réseaux de neurones. Le moteur est configuré pour interagir directement avec ces structures matérielles spécifiques via des modèles optimisés téléchargeables. Pour dépasser les limites de calcul des puces embarquées, le système redirige de manière transparente les tâches lourdes ou nécessitant un grand contexte vers des serveurs distants.

   • Cactus privilégie l'unité de traitement neural (NPU) plutôt que le processeur graphique (GPU) traditionnel.
   • L'accès direct aux puces d'Apple, Qualcomm ou MediaTek supprime les couches de traduction logicielles intermédiaires.
   • Le routeur hybride transfère les requêtes complexes vers le cloud selon un système basé sur le niveau de confiance.
3. 03:08 - 05:18

   Mesures de latence et performances comparées sur iPhone 12 Pro

   Les tests concrets menés sur un ancien smartphone comme l'iPhone 12 Pro valident l'efficacité du moteur en conditions réelles. La latence locale de 260 millisecondes permet un traitement fluide, tandis que le délai de deux secondes constaté sur le cloud s'explique par l'aller-retour obligatoire des données avec le serveur. Cette architecture hybride permet de réduire les coûts d'infrastructure de production en exploitant le matériel de l'utilisateur.

   • Une application Swift utilisant le modèle vocal Parakeet atteint une latence de 260 millisecondes en streaming local.
   • Le traitement de la transcription sur le cloud avec Gemini 2.5 Flash génère une latence moyenne de 2000 millisecondes.
   • La solution locale traite la majorité des flux tandis que l'alternative cloud gère l'analyse d'images complexes.