Estes 2 Pequenos Modelos de IA Rodam no Seu Celular, Não na Nuvem

하이라이트

• O modelo Who identifica locutores em uma gravação de áudio sem transcrever o texto ou conhecer os nomes das pessoas.

• O modelo Who processa um episódio de podcast de 57 minutos em 6,4 segundos usando um MacBook M5 Pro.

• O modelo Eye classifica imagens em 558 categorias, pontua a estética e detecta olhos fechados ou sorrisos diretamente no navegador ou celular.

• O modelo Eye analisa 10.000 fotos em menos de um minuto quando executado no Chrome com WebGPU.

• Os modelos rodam totalmente offline no dispositivo do usuário, eliminando taxas de API e envio de dados para a nuvem.

타임라인

1. 00:00 - 01:10

   Apresentação dos Novos Modelos de IA

   A empresa Desert Ant Labs introduz duas novas adições à sua família de pequenos modelos de inteligência artificial que rodam localmente. O primeiro modelo, chamado Who, foca em separar e identificar quem fala em arquivos de áudio longos, como podcasts e reuniões. O segundo modelo, chamado Eye, categoriza fotografias, avalia a estética e analisa expressões faciais sem requerer conexão com servidores externos.

   • A Desert Ant Labs expande seu catálogo com os modelos Who e Eye.
   • O modelo Who identifica locutores e marca os horários de início e término das falas.
   • O modelo Eye etiqueta, pontua e classifica fotos em tempo real e de forma nativa.
2. 01:10 - 05:30

   O Funcionamento e Desempenho do Modelo Who

   Desenvolvido para tarefas de diarização, o Who fornece apenas os registros de data e hora com precisão de até 10 milissegundos, registrando inclusive falas simultâneas. Testes demonstram alta velocidade de execução em hardware da Apple, embora o modelo apresente limitações em cenários com muitos locutores ou microfones distantes. A integração com transcritores locais permite gerar legendas completas e organizadas por participantes de forma totalmente offline.

   • O modelo Who processa áudios a cerca de 950 vezes a velocidade real em um MacBook M5 Pro.
   • A taxa de erro do modelo no conjunto de dados AMI é de 12,6%, superando ferramentas tradicionais como o PyAnote.
   • Um aplicativo demonstrativo para Mac combina o Who com o transcritor nativo da Apple para gerar legendas divididas por locutores.
3. 05:30 - 10:35

   Análise de Imagens com o Modelo Eye

   O modelo Eye atua como um classificador de imagens versátil capaz de rodar diretamente em navegadores web e dispositivos móveis. Ele atribui pontuações de confiança para diferentes categorias visuais, calcula notas estéticas e identifica fotos semelhantes para auxiliar na organização de galerias pessoais. A execução local garante privacidade completa, impedindo que arquivos sensíveis saiam do armazenamento do usuário.

   • O modelo Eye analisa imagens dividindo-as em 558 categorias distintas.
   • A ferramenta processa cerca de 10.000 fotos em menos de um minuto utilizando WebGPU no navegador.
   • O sistema agrupa imagens duplicadas, identifica recibos, documentos e detecta pessoas com os olhos fechados.
4. 10:35 - 11:28

   Licenciamento e Considerações Finais

   Os modelos encontram-se atualmente em fase beta e operam sob um modelo de licença específica que permite uso gratuito até determinado limite de dispositivos ativos. A arquitetura descentralizada prioriza a privacidade ao manter o processamento de mídias restrito ao hardware local, tornando as ferramentas ideais para desenvolvedores de aplicativos voltados a produtividade e gerenciamento de mídia.

   • Ambos os modelos utilizam a licença proprietária de código disponível da Desert Ant Labs.
   • O uso é gratuito para até 100.000 dispositivos ativos mensais com inferência ilimitada.
   • O SDK realiza uma verificação mensal de licença que não transmite dados de áudio ou imagem.