Этот новый движок запускает локальный ИИ и использует в 10 раз меньше ОЗУ! (Cactus)
Original · This New Engine Runs Local AI Using 10x Less RAM! (Cactus)
Key Takeaway
Движок инференса Cactus снижает нагрузку на оперативную память за счет формата .CACT и технологии zero-copy, распределяя задачи между локальным NPU и облаком для обеспечения задержки транскрибации от 260 миллисекунд на мобильных устройствах.
Highlights
Движок инференса Cactus использует технологию zero-copy и проецирует веса ИИ-моделей напрямую из хранилища вместо загрузки в операционную память.
Для эффективного проецирования данных на граничных устройствах стандартный формат GGUF заменен на собственный формат .CACT.
Архитектура Cactus разработана под нейропроцессоры (NPU) чипов Apple, Qualcomm и MediaTek, минуя стандартные замедляющие слои трансляции.
Гибридный роутер автоматически переключает сложные задачи или запросы с большим контекстным окном на облачную модель Gemini 2.5 Flash без изменения кода.
Локальная транскрибация речи на базе модели parakeet через Swift Cactus SDK показывает среднюю задержку в 260 миллисекунд на смартфоне iPhone 12 Pro.
Облачная транскрибация трехсекундного фрагмента через Gemini 2.5 Flash увеличивает среднюю задержку до 2000 миллисекунд.
Timeline
Ограничения мобильных платформ при запуске локального искусственного интеллекта
Запуск современных нейросетей на смартфонах сопряжен с агрессивной политикой менеджеров памяти мобильных операционных систем. Резкие скачки потребления ресурсов приводят к аварийному завершению фоновыx процессов. Cactus функционирует как специализированный движок инференса с низкой задержкой, оптимизированный для работы в условиях дефицита энергии и памяти.
- Стандартные ИИ-модели вызывают принудительное закрытие приложений из-за жестких лимитов оперативной памяти в мобильных ОС.
- Высокое потребление ресурсов приводит к быстрому разряду аккумуляторной батареи граничных устройств.
- Архитектура Cactus спроектирована с учетом аппаратных ограничений нейропроцессоров и ОЗУ.
Технология zero-copy и собственный формат моделей .CACT
Вместо заполнения оперативной памяти Cactus применяет проецирование весов модели напрямую из постоянного хранилища устройства. В активный вычислительный цикл подтягиваются только определенные тензоры, необходимые в конкретный момент времени. Переход от общепринятого формата GGUF к проприетарному расширению .CACT обеспечивает эффективное отображение данных без риска блокировки приложения со стороны ОС.
- Основным препятствием для локального инференса являются накладные расходы памяти, а не вычислительная мощность.
- Выделение памяти по методу zero-copy устраняет необходимость полной загрузки параметров модели в ОЗУ.
- Собственный формат файлов .CACT заменяет стандартный формат GGUF для оптимизации работы с накопителем.
Прямое взаимодействие с NPU и гибридная маршрутизация запросов
Большинство существующих систем задействуют GPU, однако Cactus работает напрямую с блоками матричного умножения современных мобильных платформ. Для обхода аппаратных ограничений по точности рассуждений применяется система фоновой маршрутизации. Простые запросы выполняются локально на NPU бесплатно и конфиденциально, а объемный контекст или тяжелый анализ автоматически транслируются облачной модели без модификации клиентского кода.
- Движок переносит вычисления с графического процессора на выделенные кристаллы NPU в чипах Apple, Qualcomm и MediaTek.
- Исключение стандартных слоев трансляции ускоряет обработку матричного умножения в нейросети.
- Гибридный роутер перенаправляет ресурсоемкие задачи в облако на основе уровня уверенности локальной модели.
Тестирование производительности Cactus SDK на мобильном устройстве
Проверка возможностей движка выполнялась через тестовое приложение на Swift с использованием локальной модели parakeet и облачной инфраструктуры. На устаревшем аппаратном обеспечении смартфона iPhone 12 Pro локальный инференс демонстрирует стабильную потоковую обработку. Пакетная транскрибация трехсекундного аудиофрагмента через удаленный сервер Gemini требует около двух секунд из-за сетевых задержек, что делает облачный путь оптимальным только для тяжелых мультимодальных задач.
- Интеграция пакета Swift Cactus позволяет реализовать потоковую транскрибацию речи в реальном времени.
- Локальная речевая модель parakeet обеспечивает среднюю задержку обработки на уровне 260 миллисекунд на iPhone 12 Pro.
- Облачная альтернатива в виде Gemini 2.5 Flash увеличивает время ожидания ответа до 2000 миллисекунд.
Description
In this video, we dive into Cactus, a low-latency inference engine designed to run AI models directly on mobile silicon and edge devices without killing your battery or RAM. We break down how it utilizes its proprietary .cact format and zero-copy memory mapping to run a 1.2B parameter model with a footprint smaller than a web browser. Finally, we put it to the test on an older iPhone 12 Pro to see how its NPU-first architecture and Hybrid Router handle real-time speech transcription locally and in the cloud. 🔗 Relevant Links Cactus: https://cactuscompute.com ❤️ More about us Radically better observability stack: https://betterstack.com/ Written tutorials: https://betterstack.com/community/ Example projects: https://github.com/BetterStackHQ 📱 Socials Twitter: https://twitter.com/betterstackhq Instagram: https://www.instagram.com/betterstackhq/ TikTok: https://www.tiktok.com/@betterstack LinkedIn: https://www.linkedin.com/company/betterstack 📌 Chapters: 00:00 - Intro 00:19 - The Local AI Memory Problem 00:58 - Zero-Copy Memory Mapping 01:30 - Bypassing Translation Layers for NPU-First AI 02:11 - How the Hybrid Router Architecture Works 02:34 - Confidence-Based Cloud Fallbacks 03:07 - Building a Real-Time Transcription App in Swift 03:35 - Live Benchmarking: Local NPU vs. Gemini Cloud 04:29 - Final Thoughts