Ces 2 mini-modèles d'IA fonctionnent sur votre téléphone, pas dans le cloud

하이라이트

• Desert Ant Labs propose deux nouveaux modèles d'intelligence artificielle qui s'exécutent entièrement en local sur l'appareil de l'utilisateur.

• Le modèle Who réalise la diarisation des locuteurs sur un enregistrement de 50 minutes en environ trois secondes.

• Le modèle Eye analyse, classe et trie les photos à travers 558 catégories à une vitesse de 41 millisecondes par image dans Chrome avec WebGPU.

• Les licences de ces deux modèles sous source disponible sont gratuites jusqu'à 100 000 appareils actifs par mois avec une inférence illimitée.

타임라인

1. 00:00:00 - 01:10:00

   Présentation des deux nouveaux modèles locaux

   L'entreprise Desert Ant Labs continue d'étoffer son catalogue de petits modèles d'IA spécialisés issus de l'application de montage vidéo Detail. Cette approche privilégie des outils locaux pour éliminer les frais d'API et préserver la confidentialité des données des utilisateurs. Les deux nouveautés intègrent la version 4.0 du SDK sous un statut bêta.

   • Desert Ant Labs ajoute deux nouveaux modèles spécialisés à sa famille de solutions exécutées entièrement hors ligne.
   • Le premier modèle, Who, identifie les intervenants dans un fichier audio à partir de 50 minutes d'enregistrement en trois secondes.
   • Le second modèle, Eye, étiquette, note et trie les photos à la volée sur un téléphone ou un navigateur sans transfert dans le cloud.
2. 01:51:00 - 05:30:00

   Fonctionnement et test du modèle audio Who

   Le modèle Who se concentre exclusivement sur le découpage temporel des interventions vocales. Il gère mal les microphones éloignés ou les réunions comportant plus de 20 participants, le réservant ainsi aux podcasts et aux interviews. Intégré dans une application de test sur macOS, il identifie quatre locuteurs sur un enregistrement de podcast en moins de 12 secondes.

   • Who assure la diarisation des locuteurs en indiquant qui parle et quand, à 10 millisecondes près, sans effectuer de transcription textuelle.
   • Le modèle atteint une vitesse de 950 fois le temps réel sur un MacBook M5 Pro et traite un podcast de la NASA en 6,4 secondes.
   • Une application de démonstration sur Mac associe Who au transcripteur intégré de macOS pour associer chaque segment textuel à un locuteur identifié.
3. 05:31:00 - 07:04:00

   Classification d'images et performances du modèle Eye

   Le classificateur Eye fournit un rapport complet sur une image en un seul appel, incluant un score de confiance de zéro à un. Pour la détection des reçus, il identifie la nature du document sans procéder à une reconnaissance optique des caractères. Un seuil de 0,5 sert de correspondance positive, tandis qu'un seuil de 0,9 s'applique aux actions automatiques sensibles.

   • Eye classe chaque image à travers 558 catégories et évalue son score d'esthétique ainsi que l'état des visages.
   • Le modèle détecte les captures d'écran, les reçus et les documents, tout en regroupant les doublons issus de clichés en rafale.
   • Eye traite une photo en 5,5 millisecondes sur le neural engine d'un Mac M6 et en 41 millisecondes dans un navigateur via WebGPU.
4. 07:04:00 - 01:28:00

   Application web et conditions de licence

   L'expérimentation locale d'Eye dans le navigateur démontre la viabilité du traitement de flux photographiques importants directement sur la machine de l'utilisateur. Malgré leur statut bêta, Who et Eye offrent des performances solides pour les développeurs travaillant sur des contenus multimédias ou des photothèques, tout en garantissant la confidentialité des données.

   • Une application web utilisant LightRT.js et WebGPU permet de tester Eye directement dans le navigateur à partir d'un dossier de photos.
   • Le traitement de 105 images diverses s'effectue localement en 16,1 secondes pour trier les reçus, les captures d'écran, les flous et les doublons.
   • La licence sous source disponible autorise une utilisation gratuite jusqu'à 100 000 appareils actifs par mois avec une vérification mensuelle.