10倍少ないRAMでローカルAIを動かす新エンジンが登場！(Cactus)

하이라이트

• Cactusは、ストレージからモデルの重みを直接マッピングするゼロコピーシステムにより、アプリがRAM制限で強制終了されるリスクを排除します。

• 従来のGGUF形式ではなく、エッジデバイスでのメモリマッピングを有効にする専用の「.CACT」形式を採用しています。

• GPUに依存する多くのローカルエンジンとは異なり、Apple、Qualcomm、MediaTekなどのNPU（ニューラル・プロセッシング・ユニット）と直接通信して変換レイヤーをバイパスします。

• 簡単な質問はローカルのNPUで処理し、複雑なタスクや大規模なコンテキストが必要な場合はクラウドモデルへ自動で引き渡す確信度ベースのハイブリッドルーターを搭載しています。

• iPhone 12 Proを使用したParakeet音声モデルによるローカル文字起こしテストにおいて、平均約260ミリ秒の低遅延を記録しています。

타임라인

1. 00:00 - 01:30

   ローカルAIにおけるメモリボトルの解決とゼロコピーマッピング

   モバイルOSのメモリマネージャーは、RAM使用量が急増したアプリを強制終了する傾向があります。CactusはすべてをRAMに読み込む従来の手法を避け、必要な時に特定のテンソルだけを計算サイクルに引き込みます。この仕組みにより、アプリのシャットダウンリスクなしに大型モデルの推論能力を活用できます。

   • エッジデバイスにおけるAIモデル実行の最大障壁は、計算能力ではなくメモリのオーバーヘッドです。
   • Cactusはストレージからモデルの重みを直接マッピングするゼロコピーメモリマッピングを採用しています。
   • エッジデバイスでの動作を最適化するために、従来のGGUF形式から独自の「.CACT」形式へ移行しています。
2. 01:30 - 02:11

   NPUファーストのアーキテクチャと行列乗算の最適化

   Apple、Qualcomm、MediaTekなどの最新チップには、ニューラルネットワーク専用のシリコンが搭載されています。Cactusはこれらの専用ユニットと直接通信を行う構造を持っています。これにより、処理効率が向上し、モバイルやエッジデバイスにおける動作の重さやバッテリー消費の問題を解決します。

   • CactusはGPUの代わりに、シリコン固有のNPU（ニューラル・プロセッシング・ユニット）を最優先で処理に使用します。
   • 推論速度を低下させる原因となる通常の変換レイヤーを完全にバイパスします。
   • 専用ダッシュボードを通じて、各チップの行列乗算ユニットを最大限に活用できるNPU最適化モデルの一覧を提供します。
3. 02:11 - 03:07

   確信度ベースのハイブリッドルーターによるフェイルオーバー処理

   簡単な質問であれば、高速でプライベートかつ低コストなローカルのNPU上で処理が完結します。一方で、ローカルモデルの能力を超える複雑なタスクを検知した場合は、自動的にクラウド上の最先端モデルへリクエストを転送します。この仕組みがユーザー体験の低下を防ぎ、同時に運用コストを低く抑えます。

   • ローカルモデルの限界に対応するため、クラウドモデルへ動的に切り替えるハイブリッドルーターを搭載しています。
   • タスクの複雑さやコンテキストウィンドウの大きさに応じて、自動的にリクエストを引き渡す確信度ベースのシステムです。
   • バックグラウンドでの自動フェイルオーバーにより、コードを変更することなく本番環境に対応します。
4. 03:07 - 05:13

   iPhone 12 Proによる音声モデルの実機性能テスト

   iPhone 12 Proという旧世代のデバイスを使用した場合でも、Parakeet音声モデルによるエッジ側でのライブストリーミングは高いパフォーマンスを示します。クラウド接続時はデータサーバーとの往復が発生するため約2秒の遅延が生じますが、画像解析など負荷の高いタスクではこのクラウド連携が有用です。Cactusはエッジ最適化に加え、多様なSDKによる開発の容易性を備えています。

   • Swift Cactusパッケージを使用した実機テストにおいて、ローカルでのリアルタイム文字起こしは平均約260ミリ秒の遅延で動作します。
   • クラウドへの切り替え時はGemini 2.5 Flashを使用し、3秒のバッチ文字起こしで平均約2,000ミリ秒の時間を要します。
   • マルチモーダルタスクに対応する複数のSDKとNPUフレンドリーなアーキテクチャを提供します。