구글이 역대급 온디바이스 AI 모델을 만들었을까요? (Gemma 4)

하이라이트

• Gemma 4는 23억 개의 활성 파라미터만으로 50억 파라미터급의 추론 깊이를 구현하는 레이어별 임베딩 기술을 적용했다.

• AIME 2026 수학 벤치마크에서 42.5%를 기록하며 이전 세대 대형 모델들보다 두 배 이상 높은 점수를 달성했다.

• 1.5GB 미만의 RAM 점유율로 아이폰, 안드로이드, 라즈베리 파이 기기에서 완전한 오프라인 실행이 가능하다.

• 네이티브 멀티모달 아키텍처를 통해 비전, 텍스트, 오디오를 통합 처리하며 128K 컨텍스트 윈도우와 140개 이상의 언어를 지원한다.

• E4B 모델은 코딩 테스트에서 장바구니 기능을 구현하며 QWAN 3.5나 이전 Gemma 모델이 실패했던 논리적 과제를 해결했다.

• 학습 데이터 컷오프 시점은 2025년 1월이며, 구글의 Lite RTLM 프레임워크를 통해 모바일 기기에서 빠른 응답 속도를 보여준다.

타임라인

1. 00:00 - 02:28

   Gemma 4의 설계 철학과 지능 밀도 혁신

   구글은 Apache 2.0 라이선스로 진정한 오픈 소스 모델인 Gemma 4를 출시했다. 기존 트랜스포머의 단일 임베딩 방식에서 벗어나 각 레이어가 자체 임베딩 세트를 갖는 아키텍처를 채택했다. 이를 통해 네이티브 멀티모달 기능을 구현했으며, 128K 컨텍스트 윈도우와 140개 이상의 언어 지원으로 OCR 및 현지어 식별 성능을 강화했다.

   • 레이어별 임베딩 기술은 정보가 필요한 레이어에 직접 새로운 데이터를 도입하여 효율성을 높인다.
   • 유효 파라미터 개념을 도입해 23억 개의 활성 파라미터만으로 50억급 성능을 내며 메모리 사용량을 1.5GB 미만으로 억제한다.
   • 내부 추론 체인을 사용하는 사고 모드는 소형 모델의 고질적인 문제인 무한 루프와 논리 오류를 방지한다.
2. 02:29 - 03:19

   수학 및 에이전트 성능 벤치마크 분석

   벤치마크 수치는 이전 세대 대형 모델의 두 배에 달하는 수학 문제 해결 능력을 보여준다. 단순한 텍스트 생성을 넘어 네이티브 함수 호출을 통해 실시간 데이터를 조회하거나 위젯을 제작하는 등 실행 가능한 작업을 수행한다. 이는 소형 모델이 단순 답변기가 아닌 독립적인 에이전트로 작동할 수 있음을 시사한다.

   • E4B 모델은 AIME 2026 수학 벤치마크에서 42.5%의 정확도를 기록하며 지능 밀도를 증명했다.
   • T2 벤치마크 결과 도구 사용 정확도가 상승하여 에이전트로서의 활용 잠재력이 높아졌다.
   • 에이전트 스킬 기능을 통해 위키피디아 실시간 데이터 쿼리 등 다단계 워크플로를 처리한다.
3. 03:20 - 05:28

   로컬 환경 코딩 성능 검증 테스트

   LMStudio와 CLINE을 사용해 인터넷이 차단된 로컬 환경에서 코딩 테스트를 진행했다. 가장 작은 E2B 모델은 QWAN 3.5 0.8B 모델보다 다소 아쉬운 완성도를 보였으나, 상위 버전인 E4B는 유의미한 기능적 발전을 보여주었다. 소형 모델을 실무 코딩에 쓰기에는 한계가 있지만 실험적인 수준의 논리 구현은 가능하다.

   • E2B 모델은 코딩 결과물 끝에 작업 목록을 덧붙이거나 JS 파일을 누락하는 등 논리적 허점을 보였다.
   • E4B 모델은 3.5분의 처리 시간을 소요하며 기존 소형 모델들이 실패했던 복잡한 장바구니 기능을 성공적으로 구현했다.
   • 활성 파라미터가 적은 모델일수록 코드의 디자인 완성도보다는 기능적 논리 구현 여부에서 성능 차이가 극명하게 갈린다.
4. 05:29 - 09:05

   모바일 엣지 기기 실제 구동 및 멀티모달 테스트

   아이폰의 AI Edge Gallery 앱을 통해 오프라인 테스트를 실시했다. 세차 문제 같은 논리 테스트에서 정답을 맞혔으나 논리보다는 편의성 관점에서 답변하는 경향을 보였다. 140개 이상의 언어를 지원한다는 홍보대로 라트비아어를 정확히 식별하고 텍스트를 추출해 냈으나, 직접 대화 시에는 문법 구조가 다소 어색한 모습이 관찰되었다.

   • Lite RTLM 프레임워크를 적용한 Gemma 4는 모바일 기기에서 QWAN 3.5보다 빠른 응답 속도를 보여준다.
   • 이미지 내 보더 콜리와 코기를 혼동하는 등 미세한 비전 인식 오류가 존재하지만 전반적인 사물 식별은 정확하다.
   • 라트비아어 같은 소수 언어 OCR 테스트에서 실제 텍스트와 거의 일치하는 복원력을 입증했다.
5. 09:06 - 10:11

   데이터 컷오프 확인 및 향후 기술 전망

   미국 대통령에 대한 질문을 통해 모델이 보유한 정보의 최신성을 확인했다. 구글이 조만간 더 넓은 범위의 네이티브 바인딩을 공개할 것으로 예상되며, 이는 개발자들이 커스텀 앱에서 Gemma 4를 로컬로 활용하는 기폭제가 될 것이다. 전반적으로 소형 모델로서 부여된 과제들을 성공적으로 수행하는 능력을 갖춘 것으로 평가된다.

   • Gemma 4의 학습 데이터 지식 컷오프 시점은 2025년 1월로 확인되었다.
   • 현재 공식적인 iOS용 MLX 바인딩은 없으나 SwiftLM 등 커뮤니티의 비공식 프로젝트가 진행 중이다.
   • 창의적인 웹 디자인 능력은 부족하지만 광고된 기능적 요구 사항은 대부분 충족한다.