This New Engine Runs Local AI Using 10x Less RAM! (Cactus)

에지 디바이스에서 로컬 AI 모델을 구동할 때 가장 큰 걸림돌은 연산력 부족보다 메모리 과부하로 인한 운영체제의 앱 강제 종료 현상입니다. Cactus 엔진은 연산 주기에 필수적인 특정 텐서만 그때그때 스토리지에서 가져오는 제로 카피 시스템을 구현했습니다. 대형 모델의 추론 능력을 유지하면서도 무거운 메모리 점유율을 회피하기 위해 기존 GGUF 포맷을 대체하는 .CACT 독자 규격을 개발하여 최적화를 달성했습니다.

최신 모바일 칩셋들은 신경망 연산만을 담당하는 전용 실리콘을 탑재하고 있습니다. Cactus는 중간 변환 과정 없이 이 NPU 장치들과 직접 통신하는 구조를 택해 지연 시간을 단축합니다. 대시보드를 통해 NPU 연산 효율을 극대화하도록 맞춤 최적화된 모델 목록을 개발자에게 제공합니다.

로컬 에지 모델은 크기 제한으로 인해 복잡한 추론에서 한계에 직면합니다. 하이브리드 라우터는 평소에는 비용이 들지 않고 프라이버시가 보장되는 로컬 NPU에서 작업을 처리하다가, 난이도가 높은 작업이 감지되면 클라우드 모델로 신속하게 요청을 넘깁니다. 이 백그라운드 이관 프로세스는 사용자 경험을 저해하지 않으면서 운영 비용을 낮추는 이점을 제공합니다.

출시된 지 시간이 지난 구형 스마트폰인 아이폰 12 프로 환경에서도 에지 기반의 실시간 음성 인식이 매끄럽게 작동함을 확인했습니다. 서버 데이터 전송을 거쳐야 하는 클라우드 방식은 대안 모델인 Gemini 2.5 Flash 기준으로 약 2초의 시간이 걸리므로 상대적으로 느립니다. 따라서 일반적인 음성 인식은 로컬 에지에서 수행하고, 무거운 이미지 분석이나 고부하 연산이 필요할 때만 클라우드 옵션을 결합하는 방식이 실용적입니다.