Diese neue Engine führt lokale KI mit 10x weniger RAM aus! (Cactus)

Highlights

• Die Inference-Engine Cactus führt lokale KI-Modelle auf Mobil- und Edge-Geräten mit bis zu 10x weniger RAM-Bedarf aus.

• Das System umgeht traditionelle GGUF-Formate und nutzt ein proprietäres .CACT-Format für direktes Tensor-Mapping aus dem Speicher.

• Cactus ist als NPU-First-Architektur aufgebaut und kommuniziert ohne verlangsamende Übersetzungsschichten direkt mit den KI-Chips von Apple, Qualcomm und MediaTek.

• Ein integrierter Hybrid-Router wechselt über ein konfidenzbasiertes Routing-System automatisch zwischen lokaler NPU-Verarbeitung und Cloud-Modellen wie Gemini 2.5 Flash.

• Ein Live-Test der lokalen Echtzeit-Transkription mit dem Parakeet-Sprachmodell auf einem älteren iPhone 12 Pro erzielt eine Latenz von 260 Millisekunden.

Timeline

1. 00:00 - 01:30

   Architektur und Speicheroptimierung für Edge-Geräte

   Lokale KI-Anwendungen scheitern auf Mobilgeräten oft am hohen Speicher-Overhead, da Betriebssysteme ressourcenintensive Apps automatisch beenden. Durch das Laden benötigter Gewichte direkt aus dem Speicher bleibt die App-Stabilität gewahrt. Das proprietäre .CACT-Format ermöglicht dieses präzise Mapping auf Edge-Hardware überhaupt erst.

   • Begrenzter Arbeitsspeicher und rigide Betriebssystem-Manager bilden die größte Hürde für lokale KI auf Mobilgeräten.
   • Ein Zero-Copy-System lädt ausschließlich die aktuell für den Rechenzyklus benötigten Tensoren direkt aus dem Speicher.
   • Das speziell entwickelte .CACT-Dateiformat ersetzt das herkömmliche GGUF-Format.
2. 01:31 - 02:11

   Direkte NPU-Ansteuerung und KI-Modellauswahl

   Während übliche Frameworks primär die GPU ansprechen, setzt dieses System konsequent auf die NPU moderner Chipsätze. Die direkte Kommunikation mit den Prozessoren von Apple, Qualcomm und MediaTek verhindert Performance-Verluste. Die im Dashboard verfügbaren Modelle nutzen diese spezifischen Hardware-Strukturen vollständig aus.

   • Die Engine läuft standardmäßig direkt auf den dedizierten Hardware-Einheiten für neuronale Netze.
   • Der Verzicht auf übliche Übersetzungsschichten beschleunigt die Berechnungen.
   • Ein integriertes Dashboard bietet Zugriff auf speziell für Matrixmultiplikationseinheiten optimierte Modelle.
3. 02:12 - 03:07

   Kosten- und Leistungskontrolle durch den Hybrid-Router

   Lokale Modelle stoßen bei komplexen logischen Abfragen oder großen Kontextfenstern an physische Grenzen. Der Hybrid-Router fängt diese Limitierungen auf, indem er nahtlos und bei identischem Code-Unterbau in die Cloud wechselt. Dieses Failover-Prinzip sichert die User Experience, während die Betriebskosten für Entwickler minimal bleiben.

   • Ein konfidenzbasiertes Routing-System steuert die Verteilung der Anfragen im Hintergrund.
   • Einfache und datenschutzsensible Aufgaben verbleiben ohne Zusatzkosten auf der lokalen NPU.
   • Komplexe Aufgaben mit hohem Kontextbedarf werden automatisch an Frontier-Modelle in der Cloud übergeben.
4. 03:08 - 05:13

   Latenzmessung im Live-Test auf dem iPhone 12 Pro

   Ein Praxistest mit einer Swift-App validiert die Performance auf älterer Mobilhardware. Die On-Edge-Transkription liefert extrem schnelle Ergebnisse für den täglichen Einsatz, während die Cloud-Variante bedingt durch den Netzwerk-Datenweg spürbar langsamer agiert. Die Cloud-Option empfiehlt sich daher primär für rechenintensive Bildanalysen oder schwere logische Aufgaben.

   • Die lokale Echtzeit-Transkription über das Parakeet-Modell erreicht eine Latenz von 260 Millisekunden auf einem iPhone 12 Pro.
   • Der Wechsel auf das Cloud-Modell Gemini 2.5 Flash erhöht die Latenz bei einer dreisekündigen Batch-Transkription auf 2000 Millisekunden.
   • Mehrere Software Development Kits erlauben die Umsetzung multimodaler Aufgaben auf Edge-Geräten.