クラウド不要！スマホで動く超小型AIモデル2選

원제 · These 2 Tiny AI Models Run on Your Phone, Not the Cloud

11:443분 읽기Better Stack2026. 10. 25.컴퓨터/소프트웨어 · 창업/스타트업 · 사진/예술

핵심 요약

Desert Ant LabsのSDKバージョン4.0で追加された「Who」と「Eye」は、クラウドを介さずデバイス上で数千枚の写真整理や長時間の音声話者分離を数秒で実行するオフラインAIモデルである。

하이라이트

  • Desert Ant Labsの音声ダイアライゼーションモデル「Who」は、M5 Pro搭載MacBook上でリアルタイムの約950倍の速度で動作し、57分のポッドキャストを6.4秒で処理する。

  • 「Who」はAMIミーティングデータセットにおいてエラー率12.6%を記録し、サーバーGPUで実行するPyAnoteの13.1%と同等の精度を持つ。

  • 画像分類モデル「Eye」は、M6 Macのニューラルエンジンで1枚あたり5.5ミリ秒、ChromeのWebGPUで41ミリ秒の処理を行い、1分未満で約10,000枚の写真にタグ付けできる。

  • 「Eye」は558のカテゴリ分類、美的スコアの付与、顔の表情検出、重複写真のグループ化を実行するが、OCRによる文字読み取りは行わない。

  • SDKバージョン4.0に含まれる両モデルはベータ版であり、月間アクティブデバイス10万台まで推論無制限で無料で利用できる独自のソース公開ライセンスを採用している。

타임라인

  1. Desert Ant Labsと新モデルの概要

    受賞歴のあるAI動画編集アプリ「Detail」の出身メンバーによって設立されたDesert Ant Labsは、クラウドに依存せずユーザーのデバイス上で動作する特化型小型モデルを提供している。API料金が発生せずデータが外部に送信されない設計であり、今回のSDKアップデートで音声と画像の処理能力がさらに拡張された。

    • Desert Ant Labsは音声、テキスト、ビジョン向けの小型オフラインモデルを開発している。
    • SDKバージョン4.0にて、話者ダイアライゼーションの「Who」と画像分類の「Eye」の2つのベータ版モデルが追加された。

  2. 音声話者分離モデル「Who」の性能とデモ

    「Who」はオープンソースのPyAnoteライブラリと比較して、ノートパソコンのニューラルエンジン上で同等以上の精度を発揮するが、最大20人が参加する決算説明会などの複雑な環境ではエラー率が上昇する。Macの内蔵音声文字起こし機能と組み合わせたカスタムアプリのデモでは、M2 Max搭載MacBook Proで4人の話者が参加する録音のラベル付けを11.9秒で完了した。

    • 「Who」は文字起こしを行わず、10ミリ秒単位で話者の開始時刻と終了時刻のタイムスタンプのみを割り振る。
    • M5 Pro搭載MacBookではリアルタイムの約950倍で動作し、57分のポッドキャストを6.4秒で処理する。
    • AMIミーティングデータセットにおけるエラー率は12.6%であり、専用マイクを使用するポッドキャストやインタビューに最適化されている。

  3. 画像分類モデル「Eye」の機能、デモ、およびライセンス体系

    「Eye」はレシートが画像であることを認識する一方でOCRによるテキスト読み取りは行わない。ブラウザ上ではlightrt.jsを通じてWebGPUやWebAssemblyで動作し、105枚の写真フォルダを16.1秒でソートしたデモでは、レシート、書類、ペット、ぼやけた写真、重複写真への分類が行われた。SDKは月1回のライセンスチェックを送信するが、音声や写真は外部に送信されない仕組みとなっている。

    • 「Eye」は1回の呼び出しで、画像の種類判別、558カテゴリのタグ付け、美的スコア付与、顔の表情検出、類似写真のグループ化を行う。
    • M6 Macのニューラルエンジンで1枚あたり5.5ミリ秒、ChromeのWebGPUで41ミリ秒の処理速度を発揮する。
    • 月間アクティブデバイス10万台まで推論無制限で無料で利用できるが、独自のソース公開ライセンスを採用している。

설명

Desert Ant Labs is back with two new tiny AI models that run entirely on your device: Who, which figures out who is speaking and when in any recording, and Eye, which tags, scores and sorts your photos without uploading a single image. In this video we look at how both models work, check the numbers, and test them with two demo apps: Who Said What for macOS, and an Eye photo sorter that runs in the browser. 🔗 Relevant Links Who: https://desertant.com/models/who/ Eye: https://desertant.com/models/eye/ Who Said What (macOS app, Who + Apple's speech transcriber): https://github.com/andrisgauracs/who-said-what Eye Photo Sorter (source): https://github.com/andrisgauracs/eye-photo-sorter Eye Photo Sorter (try it live in your browser): https://andrisgauracs.github.io/eye-photo-sorter/ ❤️ More about us Radically better observability stack: https://betterstack.com/ Written tutorials: https://betterstack.com/community/ Example projects: https://github.com/BetterStackHQ 📱 Socials Twitter: https://twitter.com/betterstackhq Instagram: https://www.instagram.com/betterstackhq/ TikTok: https://www.tiktok.com/@betterstack LinkedIn: https://www.linkedin.com/company/betterstack 📌 Chapters: 0:00 Desert Ant Labs is back 1:09 Desert Ant Labs in 40 seconds 1:51 Who: speaker diarization explained 2:16 950× faster than real time 2:39 Who vs pyannote: where it wins and loses 3:27 Who Said What: the demo app 3:50 Live demo: labelling a full podcast 5:28 Eye: a whole photo report in one call 6:08 Speed and confidence scores 6:59 Eye in the browser with LiteRT.js 7:48 Live demo: sorting 105 photos 10:35 Things to keep in mind 11:13 Final thoughts

이 영상에 대해 글쓰기