这款新引擎运行本地 AI，内存占用减少至 1/10！（Cactus）

Highlights

• Cactus 推理引擎将本地 AI 的内存占用减少至十分之一，解决了移动设备因内存激增而被操作系统杀掉应用的问题。

• 该引擎放弃传统的 GGUF 格式并采用专属的 .CACT 格式，通过零拷贝内存映射直接从存储中映射模型权重。

• 系统采用 NPU 优先的设计理念，直接与苹果、高通和联发科等芯片的矩阵乘法单元通信以绕过传统转换层。

• 混合路由器基于置信度自动分流任务，简单请求保留在本地 NPU 运行，复杂任务则在后台无缝切换至云端 Gemini 模型。

• 在 iPhone 12 Pro 这种旧款设备上，使用 Swift Cactus 包运行本地 parakeet 语音模型可实现 260 毫秒的实时流式转写延迟。

Timeline

1. 00:00 - 01:30

   边缘端 AI 的内存瓶颈与零拷贝解决方案

   移动操作系统在面对应用内存 RAM 使用率暴涨时会采取极其激进的强制关闭策略。传统方法倾向于将模型全部内容加载到 RAM 中，而 Cactus 改变了这一路径。它通过零拷贝系统直接从存储中映射模型权重，只有在活跃的计算周期需要时才会将特定张量拉入，从而在极低的内存占用下赋予边缘设备大模型的推理能力。

   • 传统本地 AI 模型在边缘设备运行上面临耗电、笨重以及易被操作系统内存管理器强制关闭的限制。
   • 本地 AI 的最大瓶颈在于内存开销，而非芯片的算力限制。
   • Cactus 放弃了标准的 GGUF 格式，改用专属的 .CACT 格式来实现高效的零拷贝内存映射。
2. 01:30 - 02:11

   NPU 优先架构与矩阵乘法优化

   苹果、高通和联发科等现代芯片制造商都在硬件中集成了专门用于神经网络处理的专用 NPU。Cactus 放弃了通用的 GPU 兼容路线，选择直接向这些 NPU 写入数据。这种底层的直接通信消除了中间转换带来的延迟，使硬件的矩阵乘法单元能够发挥出最高的运算效率。

   • 多数本地推理引擎默认依赖 GPU，而 Cactus 采用 NPU 优先的构建理念。
   • 该引擎直接与现代芯片的专用硬件通信，绕过了会降低推理速度的传统转换层。
   • 官方仪表盘提供了针对特定矩阵乘法单元进行了深度优化的模型下载列表。
3. 02:11 - 03:07

   混合路由器与本地云端弹性切换机制

   为了在不牺牲用户体验的前提下控制成本，引擎设计了双轨运行机制。当用户提出简单问题时，系统将其锁定在本地 NPU 上运行，以确保高速度、零成本并保护隐私。一旦本地模型检测到任务过于复杂或超出了当前的上下文窗口，系统会自动将该特定请求移交给云端的前沿大模型，实现了生产环境下的平滑过渡。

   • 本地模型受限于边缘设备的物理硬件，必然会触及推理能力的上限。
   • 混合路由器基于置信度建立路由系统，在本地模型与云端模型之间灵活切换。
   • 任务的分流与故障转移全在后台自动管理，开发人员无需修改任何既有代码。
4. 03:07 - 05:17

   旧款 iPhone 上的实时语音转写性能测试

   通过一个集成 Swift Cactus 包的轻量级 Swift 应用，可以对边缘端和云端的性能进行量化评估。测试环境采用较旧的 iPhone 12 Pro 硬件，本地运行 parakeet 语音模型时展现出了适合边缘端部署的低延迟响应。由于数据传输存在服务器往返开销，云端转写耗时显著增加，因此在实际应用中，大部分基础转写工作由边缘端承担，而云端则保留用于高负载的图像分析或复杂任务。

   • 官方落地页技术演示表明，边缘设备可实现大约 100 毫秒的实时语音转文字延迟。
   • 在 iPhone 12 Pro 上使用 Swift Cactus 包进行本地流式转写，实际录得平均延迟为 260 毫秒。
   • 云端切换至 Gemini 2.5 Flash 进行 3 秒的批量转写时，受网络往返影响其平均时间为 2000 毫秒。