구글, 멀티모달 AI의 최대 난제 해결 (Gemma 4 12B)

대부분의 멀티모달 AI는 텍스트, 이미지, 소리를 각각 처리하는 별도의 네트워크를 동시에 운영하느라 처리 속도가 느려지고 VRAM 점유율이 높습니다. Gemma 4는 5억 5천만 개의 파라미터가 필요한 기존 인코더를 대체하기 위해, 단 3,500만 개의 파라미터로 구성된 얇은 선형 투영 레이어를 도입했습니다. 이를 통해 모델은 시각적 분석 과정을 생략하고, 시각 데이터를 언어 모델이 이해할 수 있는 텍스트 토큰 형식으로 변환하는 역할만 수행하여 추론 효율을 극대화합니다.

메인 LLM은 이미 시각적 추론을 수행할 수 있는 충분한 레이어를 갖추고 있어 별도의 사고 레이어가 불필요합니다. 48x48 픽셀 그리드는 모델 내부의 행렬 차원과 일치하도록 재구성되어 메인 트랜스포머로 바로 입력됩니다. 오디오 처리 방식도 이와 유사하며, 시간 순서대로 나열된 오디오 조각을 텍스트 토큰 스트림으로 간주하여 더 깊은 네이티브 통합을 구현했습니다.

공식 에지 갤러리 앱의 오류로 인해 OMLX 프레임워크와 8비트 양자화 버전을 사용하여 로컬 추론 성능을 검증했습니다. 공항 출발 스크린샷과 같은 이미지 데이터를 실시간으로 파싱하여 정보를 추출하는 과정에서 속도와 정확도 면에서 높은 성능을 나타냈습니다. 외부 네트워크 연결 없이도 고성능 멀티모달 처리가 가능함에 따라, 향후 에지 기기에서의 AI 활용 가능성이 크게 확장되었습니다.