클라우드 대신 스마트폰에서 직접 돌아가는 초소형 AI 모델 2가지

원제 · These 2 Tiny AI Models Run on Your Phone, Not the Cloud

11:442분 읽기Better Stack2026. 10. 25.컴퓨터/소프트웨어 · 창업/스타트업 · 사진/예술

핵심 요약

오프라인 기기에서 실시간으로 작동하는 소형 AI 모델 '후(Who)'와 '아이(Eye)'는 클라우드 서버 없이 수십 분의 오디오 화자 분할과 수천 장의 이미지 분류를 수 초 만에 처리한다.

하이라이트

  • 데저트 앤트 랩스(Desert Ant Labs)의 화자 분할 모델 '후(Who)'는 57분 분량의 오디오를 6.4초 만에 처리한다.

  • 이미지 분류 모델 '아이(Eye)'는 웹브라우저와 로컬 기기에서 558개의 카테고리로 사진을 태깅하며 미학적 점수와 눈 감김 여부를 감지한다.

  • 두 신규 모델 모두 기기 내에서 로컬로 작동하므로 별도의 API 비용이 발생하지 않고 데이터가 외부로 유출되지 않는다.

  • 데저트 앤트 랩스의 소스 공개 라이선스는 월간 활성 기기 10만 대까지 무제한 추론을 무료로 지원한다.

타임라인

  1. 클라우드 의존성을 없애는 소형 로컬 AI 모델

    오디오, 텍스트, 비전 분야의 소형 모델 카탈로그에 새로운 제품 두 개가 추가되었다. 기기 내에서 직접 실행되기 때문에 API 호출 비용이 전혀 발생하지 않으며 데이터가 외부 서버로 전송되지 않는다.

    • 동영상 편집 앱 '디테일' 출신 팀이 개발한 소형 AI 모델들이 SDK 버전 4.0 베타로 공개되었다.
    • 모든 작업마다 거대한 클라우드 모델을 사용하는 대신 사용자의 기기에서 직접 작동하는 특화 모델을 배포한다.

  2. 오디오 화자 분할을 초고속으로 수행하는 모델 '후(Who)'

    후는 각자 마이크를 사용하는 팟캐스트나 인터뷰 환경에 최적화되어 있다. 텍스트 인식이나 화자 이름 식별은 수행하지 않으며 오직 번호가 매겨진 화자의 타임스탬프만 출력한다. macOS의 음성 텍스트 변환 기능과 결합하면 화자별 대본 자동 생성 앱으로 활용할 수 있다.

    • 후는 오디오 트랙을 분석하여 텍스트 변환 없이 10밀리초 단위의 화자별 발화 시작 및 종료 타임스탬프를 제공한다.
    • M2 맥북 프로에서 실시간 속도의 393배로 57분 분량의 녹음 파일을 12초 만에 분류한다.
    • 전통적인 서버 GPU 기반 라이브러리인 파이앤노트(PyAnote)와 유사한 수준의 오류율을 노트북의 뉴럴 엔진에서 기록한다.

  3. 사진 분류와 미학 점수를 실시간 처리하는 모델 '아이(Eye)'

    아이는 이미지에 대한 OCR을 수행하지 않고 영수증이나 문서 등의 유형을 판별한다. 0.5 이상의 신뢰도 점수를 긍정적 일치로 권장하며 스크린샷과 영수증 분류에서 각각 98%와 100%의 정확도를 보인다. 방대한 사진 라이브러리를 정리하고 중복 사진을 필터링하는 데 유용하다.

    • 아이는 단 한 번의 호출로 사진을 스크린샷, 영수증, 문서, 실제 사진 등으로 분류하고 558개 카테고리의 태그를 지정한다.
    • 브라우저의 웹 GPU 및 웹 어셈블리 런타임인 lightrt.js를 통해 105장의 사진을 16.1초 만에 처리한다.
    • 사진의 미학적 점수를 매기고 눈 감김 감지 및 연사 사진 중 베스트 샷을 자동으로 선별한다.

  4. 베타 버전 모델의 라이선스 정책과 활용 가치

    라이선스 확인 과정에서는 오디오나 사진 데이터가 전혀 포함되지 않는다. 팟캐스트, 영상 편집, 사진 라이브러리 관리 등 프라이버시가 중요한 분야에서 로컬 기기 기반의 AI 모델을 도입하려는 개발자에게 적합하다.

    • 두 모델 모두 아직 베타 버전이며 데저트 앤트 랩스의 소스 공개 라이선스가 적용된다.
    • 월간 활성 기기 10만 대까지는 무제한 추론이 무료로 제공되며 매월 라이선스 확인 신호를 전송한다.

설명

Desert Ant Labs is back with two new tiny AI models that run entirely on your device: Who, which figures out who is speaking and when in any recording, and Eye, which tags, scores and sorts your photos without uploading a single image. In this video we look at how both models work, check the numbers, and test them with two demo apps: Who Said What for macOS, and an Eye photo sorter that runs in the browser. 🔗 Relevant Links Who: https://desertant.com/models/who/ Eye: https://desertant.com/models/eye/ Who Said What (macOS app, Who + Apple's speech transcriber): https://github.com/andrisgauracs/who-said-what Eye Photo Sorter (source): https://github.com/andrisgauracs/eye-photo-sorter Eye Photo Sorter (try it live in your browser): https://andrisgauracs.github.io/eye-photo-sorter/ ❤️ More about us Radically better observability stack: https://betterstack.com/ Written tutorials: https://betterstack.com/community/ Example projects: https://github.com/BetterStackHQ 📱 Socials Twitter: https://twitter.com/betterstackhq Instagram: https://www.instagram.com/betterstackhq/ TikTok: https://www.tiktok.com/@betterstack LinkedIn: https://www.linkedin.com/company/betterstack 📌 Chapters: 0:00 Desert Ant Labs is back 1:09 Desert Ant Labs in 40 seconds 1:51 Who: speaker diarization explained 2:16 950× faster than real time 2:39 Who vs pyannote: where it wins and loses 3:27 Who Said What: the demo app 3:50 Live demo: labelling a full podcast 5:28 Eye: a whole photo report in one call 6:08 Speed and confidence scores 6:59 Eye in the browser with LiteRT.js 7:48 Live demo: sorting 105 photos 10:35 Things to keep in mind 11:13 Final thoughts

이 영상에 대해 글쓰기