Эти 2 крошечные модели ИИ работают на вашем телефоне, а не в облаке

원제 · These 2 Tiny AI Models Run on Your Phone, Not the Cloud

11:442분 읽기Better Stack2026. 10. 25.컴퓨터/소프트웨어 · 창업/스타트업 · 사진/예술

핵심 요약

Две новые офлайн-модели от Desert Ant Labs выполняют диаризацию аудио и классификацию фотографий прямо на устройстве пользователя со скоростью в сотни раз выше реального времени.

하이라이트

  • Модель Who выполняет диаризацию речи на устройстве и размечает спикеров в 50-минутном интервью за 3 секунды.

  • Модель Who обрабатывает аудио примерно в 950 раз быстрее реального времени на процессоре M5 Pro MacBook.

  • Модель Eye сортирует и тегирует фотографии по 558 категориям без отправки данных в облако.

  • Модель Eye обрабатывает 10 000 фотографий менее чем за минуту при использовании движка Mac или браузера с WebGPU.

  • Обе новые модели выпущены в версии 4.0 SDK от Desert Ant Labs и имеют статус бета-версий.

타임라인

  1. Обзор новых офлайн-моделей Desert Ant Labs

    Компания расширяет свой каталог миниатюрных ИИ-моделей, которые выполняют локальные задачи на устройстве пользователя без использования облачных серверов. Такой подход исключает затраты на API и защищает личные данные от утечек. Обе новые модели входят в версию 4.0 SDK и пока остаются в статусе бета-версий.

    • Desert Ant Labs выпускает две новые специализированные миниатюрные модели для локальной работы на устройствах.
    • Первая модель Who предназначена для определения спикеров по звуковой дорожке.
    • Вторая модель Eye тегирует, оценивает и сортирует изображения без необходимости загрузки в облако.

  2. Работа модели Who для диаризации речи

    Модель Who не транскрибирует текст и не распознает имена, а выдает пронумерованных участников с временными метками. На подкасте NASA длительностью 57 минут обработка заняла 6,4 секунды. Для демонстрации работы создано приложение Who Said What, объединяющее эту модель со встроенной транскрипцией Apple прямо на компьютере Mac.

    • Модель Who определяет временные метки реплик и разделяет спикеров с точностью до 10 миллисекунд.
    • Скорость обработки достигает 950 раз быстрее реального времени на чипе M5 Pro MacBook.
    • Интеграция модели с инструментом транскрипции macOS позволяет получить готовый текст с разметкой спикеров.

  3. Классификация и сортировка фотографий с помощью модели Eye

    Модель Eye анализирует изображения локально через браузер или среду Node, определяя эстетическую ценность, закрытые глаза у людей и наличие дубликатов. Тест на папке из 105 файлов показал быструю группировку снимков по категориям, документам, чекам и размытым кадрам непосредственно на стороне клиента.

    • Модель Eye распознает скриншоты, чеки, документы и объекты по 558 категориям.
    • Скорость обработки составляет до 10 000 фотографий менее чем за одну минуту.
    • Приложение на базе WebGPU сортирует локальную папку со 105 изображениями за 16,1 секунды в браузере.

  4. Лицензионные условия и выводы

    Обе представленные модели подходят для разработчиков приложений, связанных с обработкой подкастов, видеомонтажом и галереями фото. Полная конфиденциальность обеспечивается за счет выполнения всех вычислений непосредственно на устройстве конечного пользователя.

    • Модели распространяются по собственной лицензии Desert Ant Labs, доступной бесплатно до 100 000 активных пользователей в месяц.
    • SDK периодически отправляет запросы проверки лицензии, которые не содержат аудио или фото.

설명

Desert Ant Labs is back with two new tiny AI models that run entirely on your device: Who, which figures out who is speaking and when in any recording, and Eye, which tags, scores and sorts your photos without uploading a single image. In this video we look at how both models work, check the numbers, and test them with two demo apps: Who Said What for macOS, and an Eye photo sorter that runs in the browser. 🔗 Relevant Links Who: https://desertant.com/models/who/ Eye: https://desertant.com/models/eye/ Who Said What (macOS app, Who + Apple's speech transcriber): https://github.com/andrisgauracs/who-said-what Eye Photo Sorter (source): https://github.com/andrisgauracs/eye-photo-sorter Eye Photo Sorter (try it live in your browser): https://andrisgauracs.github.io/eye-photo-sorter/ ❤️ More about us Radically better observability stack: https://betterstack.com/ Written tutorials: https://betterstack.com/community/ Example projects: https://github.com/BetterStackHQ 📱 Socials Twitter: https://twitter.com/betterstackhq Instagram: https://www.instagram.com/betterstackhq/ TikTok: https://www.tiktok.com/@betterstack LinkedIn: https://www.linkedin.com/company/betterstack 📌 Chapters: 0:00 Desert Ant Labs is back 1:09 Desert Ant Labs in 40 seconds 1:51 Who: speaker diarization explained 2:16 950× faster than real time 2:39 Who vs pyannote: where it wins and loses 3:27 Who Said What: the demo app 3:50 Live demo: labelling a full podcast 5:28 Eye: a whole photo report in one call 6:08 Speed and confidence scores 6:59 Eye in the browser with LiteRT.js 7:48 Live demo: sorting 105 photos 10:35 Things to keep in mind 11:13 Final thoughts

이 영상에 대해 글쓰기