This New Engine Runs Local AI Using 10x Less RAM! (Cactus)

Highlights

• Cactus 추론 엔진은 스토리지에서 모델 가중치를 직접 맵핑하는 제로 카피(Zero-copy) 메모리 맵핑 기술을 통해 RAM 사용량을 줄입니다.

• 기존의 GGUF 포맷 대신 에지 디바이스 맵핑에 특화하여 독자 개발한 .CACT 파일 포맷을 사용합니다.

• GPU 대신 Apple, Qualcomm, MediaTek 등의 전용 실리콘 NPU와 변환 레이어 없이 직접 통신하도록 구축되었습니다.

• 신뢰도 기반 하이브리드 라우터가 작동하여 복잡한 작업이나 방대한 컨텍스트가 필요할 때만 클라우드의 프론티어 모델로 요청을 자동 이관합니다.

• 아이폰 12 프로 기기에서 Swift Cactus 패키지와 Parakeet 음성 모델을 활용한 로컬 라이브 스트리밍 테스트 결과 평균 260밀리초의 지연 시간을 기록했습니다.

Timeline

1. 00:00 - 01:31

   모바일 메모리 한계 극복을 위한 제로 카피 시스템과 독자 포맷

   에지 디바이스에서 로컬 AI 모델을 구동할 때 가장 큰 걸림돌은 연산력 부족보다 메모리 과부하로 인한 운영체제의 앱 강제 종료 현상입니다. Cactus 엔진은 연산 주기에 필수적인 특정 텐서만 그때그때 스토리지에서 가져오는 제로 카피 시스템을 구현했습니다. 대형 모델의 추론 능력을 유지하면서도 무거운 메모리 점유율을 회피하기 위해 기존 GGUF 포맷을 대체하는 .CACT 독자 규격을 개발하여 최적화를 달성했습니다.

   • 모바일 운영체제의 공격적인 앱 강제 종료 문제는 급증하는 RAM 메모리 오버헤드 때문에 발생합니다.
   • Cactus는 모델 전체를 RAM에 로드하지 않고 스토리지에서 가중치를 직접 맵핑하는 제로 카피 방식을 취합니다.
   • 에지 디바이스의 메모리 맵핑 효율성을 극대화하기 위해 자체 규격인 .CACT 포맷을 적용합니다.
2. 01:31 - 02:12

   NPU 우선 아키텍처 및 전용 실리콘 직접 통신

   최신 모바일 칩셋들은 신경망 연산만을 담당하는 전용 실리콘을 탑재하고 있습니다. Cactus는 중간 변환 과정 없이 이 NPU 장치들과 직접 통신하는 구조를 택해 지연 시간을 단축합니다. 대시보드를 통해 NPU 연산 효율을 극대화하도록 맞춤 최적화된 모델 목록을 개발자에게 제공합니다.

   • GPU를 기본으로 삼는 기존 로컬 엔진들과 달리 Cactus는 신경망 처리 장치인 NPU를 우선하도록 설계되었습니다.
   • 추론 속도를 저하시키는 변환 레이어를 생략하고 Apple, Qualcomm, MediaTek 등의 전용 실리콘과 직접 통신합니다.
   • NPU의 행렬 곱셈 연산 장치 성능을 최대로 끌어내도록 특정 모델들의 최적화 가공을 완료했습니다.
3. 02:12 - 03:08

   신뢰도 기반 하이브리드 라우팅 및 클라우드 이관 메커니즘

   로컬 에지 모델은 크기 제한으로 인해 복잡한 추론에서 한계에 직면합니다. 하이브리드 라우터는 평소에는 비용이 들지 않고 프라이버시가 보장되는 로컬 NPU에서 작업을 처리하다가, 난이도가 높은 작업이 감지되면 클라우드 모델로 신속하게 요청을 넘깁니다. 이 백그라운드 이관 프로세스는 사용자 경험을 저해하지 않으면서 운영 비용을 낮추는 이점을 제공합니다.

   • 에지 디바이스의 한계를 보완하기 위해 로컬 NPU와 클라우드 모델을 유기적으로 전환하는 하이브리드 라우터를 탑재했습니다.
   • 신뢰도 기반 라우팅 시스템이 입력된 질문의 복잡도와 필요한 컨텍스트 창의 크기를 스스로 감지합니다.
   • 개발자의 기존 소스코드를 수정할 필요 없이 엔진 백그라운드에서 클라우드 프론티어 모델로의 장애 조치(Failover)를 관리합니다.
4. 03:08 - 05:18

   구형 아이폰 기반 실시간 음성 인식 성능 검증 테스트

   출시된 지 시간이 지난 구형 스마트폰인 아이폰 12 프로 환경에서도 에지 기반의 실시간 음성 인식이 매끄럽게 작동함을 확인했습니다. 서버 데이터 전송을 거쳐야 하는 클라우드 방식은 대안 모델인 Gemini 2.5 Flash 기준으로 약 2초의 시간이 걸리므로 상대적으로 느립니다. 따라서 일반적인 음성 인식은 로컬 에지에서 수행하고, 무거운 이미지 분석이나 고부하 연산이 필요할 때만 클라우드 옵션을 결합하는 방식이 실용적입니다.

   • 아이폰 12 프로 기기에서 Swift Cactus 패키지와 Parakeet 음성 모델을 구동한 결과 평균 260밀리초의 로컬 지연 시간이 측정되었습니다.
   • 클라우드 대안인 Gemini 2.5 Flash를 통한 3초 분량의 배치 음성 인식에는 평균 약 2,000밀리초가 소요됩니다.
   • 멀티모달 작업을 지원하는 다양한 SDK와 NPU 친화적 아키텍처가 에지 최적화의 핵심 요소로 작용합니다.