Este Novo Motor Roda IA Local Usando 10x Menos RAM! (Cactus)

Highlights

• O motor Cactus reduz o consumo de RAM em dispositivos móveis ao utilizar um mapeamento de memória de cópia zero que extrai tensores específicos direto do armazenamento apenas quando necessários.

• O formato de arquivo proprietário .CACT substitui o formato tradicional GGUF para viabilizar o mapeamento eficiente de pesos de modelos de inteligência artificial em dispositivos de borda.

• A arquitetura do motor prioriza a unidade de processamento neural (NPU) em vez da GPU, comunicando-se diretamente com os chips da Apple, Qualcomm e MediaTek sem camadas intermediárias de tradução.

• Um sistema de roteamento híbrido baseado em confiança alterna automaticamente a execução entre a NPU local para tarefas simples e modelos de fronteira na nuvem para tarefas complexas.

• Testes práticos em um iPhone 12 Pro registraram uma latência média de 260 milissegundos para a transcrição de fala em tempo real utilizando o modelo local Parakeet.

Timeline

1. 00:00 - 01:31

   Superação do gargalo de memória em dispositivos móveis

   Dispositivos de borda enfrentam limitações severas de bateria e memória ao rodar inteligência artificial local. O formato .CACT reorganiza a estrutura dos dados para permitir que apenas os tensores ativos no ciclo de computação atual ocupem espaço na RAM. Essa abordagem impede que o gerenciador de memória do sistema operacional feche o aplicativo durante a inferência.

   • O consumo excessivo de RAM gera picos de uso que ativam o encerramento agressivo de aplicativos pelos sistemas operacionais móveis.
   • O mapeamento de memória de cópia zero elimina a necessidade de carregar o modelo de inteligência artificial por completo na memória RAM.
   • O formato proprietário .CACT substitui o padrão GGUF para otimizar o carregamento de pesos direto do armazenamento do dispositivo.
2. 01:31 - 02:12

   Otimização de silício e processamento nativo em NPU

   A maioria dos motores de inferência locais executa tarefas na GPU, ignorando os componentes dedicados para redes neurais presentes nos chips móveis modernos. O desvio das camadas tradicionais de tradução acelera o tempo de resposta da inteligência artificial. Um painel central disponibiliza o acesso e o download direto desses modelos configurados para a arquitetura da NPU.

   • O Cactus prioriza a unidade de processamento neural em vez do processamento padrão por unidade de processamento gráfico.
   • A comunicação direta com o silício da Apple, Qualcomm e MediaTek elimina o atraso causado por camadas de tradução de código.
   • Modelos específicos passam por otimização prévia para extrair a capacidade máxima das unidades de multiplicação de matrizes dos chips.
3. 02:12 - 03:08

   Roteamento híbrido entre processamento local e nuvem

   A inteligência artificial local em dispositivos de borda possui limites físicos de processamento e tamanho de janela de contexto. O roteador híbrido resolve esse problema ao transferir requisições pesadas de forma automática para modelos de fronteira na nuvem. Essa transição ocorre em segundo plano e equilibra o custo financeiro com a experiência do usuário final.

   • O teto de raciocínio dos modelos locais exige uma alternativa de processamento para comandos complexos.
   • O sistema de roteamento baseado em confiança gerencia a transição de tarefas entre o dispositivo e o servidor sem alterar o código do aplicativo.
   • Perguntas simples permanecem na NPU para garantir privacidade, velocidade e custo zero de infraestrutura.
4. 03:08 - 05:18

   Resultados práticos de latência em hardware legado

   O teste prático utilizou um aplicativo construído em Swift com o SDK oficial do Cactus para medir o tempo de resposta na transcrição de áudio. A latência de 260 milissegundos em um hardware antigo demonstra a eficiência da otimização para a borda. O aumento do tempo de resposta para 2000 milissegundos na nuvem decorre do tempo de viagem dos dados até o servidor externo.

   • A execução local do modelo de fala Parakeet em um iPhone 12 Pro atinge uma latência média de 260 milissegundos em transmissão ao vivo.
   • A transcrição em lote de três segundos na nuvem através do Gemini 2.5 Flash eleva a latência média para 2000 milissegundos.
   • O processamento na nuvem serve como suporte para tarefas complexas como a análise pesada de imagens.