Diese 2 winzigen KI-Modelle laufen auf deinem Smartphone, nicht in der Cloud

하이라이트

• Desert Ant Labs veröffentlicht zwei neue winzige KI-Modelle in Version 4.0 des SDKs, die vollständig offline auf dem Endgerät laufen.

• Das Modell Who führt eine Sprecherdiarisierung durch und verarbeitet ein 50-minütiges Interview in etwa drei Sekunden.

• Das Modell Eye klassifiziert Fotos in 558 Kategorien, bewertet die Ästhetik und verarbeitet Fotos im Browser mit WebGPU in 41 Millisekunden.

• Die Lizenz von Desert Ant Labs ist kostenlos für bis zu 100.000 monatlich aktive Geräte mit unbegrenzter Inferenz.

• Beide Modelle arbeiten datenschutzfreundlich, da weder Audiospuren noch Fotos das lokale Gerät verlassen.

타임라인

1. 00:00:00 - 00:01:51

   Einführung in die neuen Modelle von Desert Ant Labs

   Desert Ant Labs veröffentlicht zwei neue Modelle im Rahmen der Version 4.0 ihres SDKs. Das Team stammt von der Videobearbeitungs-App Detail, weshalb sich die Modelle auf Audio- und Medienverarbeitung konzentrieren. Beide Tools laufen vollständig offline auf dem jeweiligen Gerät, wodurch keine API-Kosten anfallen und keine Daten an die Cloud übertragen werden.

   • Desert Ant Labs erweitert das Portfolio um zwei neue winzige KI-Modelle für Audio und Vision.
   • Das erste Modell Who identifiziert Sprecher in Langform-Aufnahmen anhand von Audiospuren.
   • Das zweite Modell Eye markiert, bewertet und sortiert Fotos nativ auf dem Smartphone oder im Browser.
2. 00:01:51 - 00:05:30

   Funktionsweise und Benchmarks des Sprecherdiarisierungs-Modells Who

   Das Modell Who übernimmt die Sprecherdiarisierung und erkennt bis auf zehn Millisekunden genau, wer wann spricht. Überschneidungen bei gleichzeitigem Sprechen werden ebenfalls markiert. In Kombination mit dem integrierten macOS-Transkribierer lassen sich Audio-Dateien lokal in strukturierte Textprotokolle umwandeln. Das Modell ist speziell für Podcasts, Interviews und Remote-Anrufe optimiert.

   • Who transkribiert keine Audiospuren, sondern liefert nummerierte Sprecher mit präzisen Start- und Endzeiten.
   • Auf einem MacBook verarbeitet Who lange Podcast-Episoden mit hoher Geschwindigkeit.
   • Bei Telefonkonferenzen mit vielen Sprechern steigt die Fehlerrate im Vergleich zu Server-Lösungen an.
3. 00:05:30 - 00:10:35

   Foto-Klassifizierung und Web-App-Demonstration mit Eye

   Das Modell Eye analysiert Fotos mit einem einzigen Aufruf und erstellt einen vollständigen Klassifizierungsbericht. Es unterscheidet zwischen Dokumenten, Belegen, Screenshots und realen Fotos, ohne optische Zeichenerkennung auf Belegen durchzuführen. In einem praktischen Test mit 105 unsortierten Beispieldateien ordnet die Web-App die Bilder innerhalb von Sekunden den entsprechenden Kategorien zu.

   • Eye kategorisiert Bilder in 558 verschiedene Kategorien, erkennt Screenshots und Belege sowie geschlossene Augen.
   • Das Modell vergibt eine ästhetische Bewertung für jedes Foto und gruppiert Serienbilder oder Duplikate.
   • Im Browser läuft Eye über lightrt.js und nutzt WebGPU für eine schnelle lokale Bildverarbeitung.
4. 00:10:35 - 01:11:28

   Lizenzbedingungen und Fazit zu den Offline-Modellen

   Die neuen Modelle von Desert Ant Labs eignen sich für Entwickler, die datenschutzkonforme Fotobibliotheken, Videobearbeitungswerkzeuge oder Podcast-Tools erstellen möchten. Da alle Berechnungen direkt auf dem Endgerät stattfinden, bleibt die Privatsphäre der Anwender gewahrt. Die Lizenz erlaubt eine kostenfreie kommerzielle Nutzung bis zu einer Grenze von 100.000 aktiven Geräten pro Monat.

   • Beide Modelle befinden sich in der Beta-Phase und unterliegen einer Source-Available-Lizenz.
   • Die Nutzung ist bis zu 100.000 monatlich aktiven Geräten kostenlos.
   • Das SDK führt regelmäßige Lizenzprüfungen durch, die jedoch keinerlei Medieninhalte übertragen.