VLM/VLA에서 구체화된 인공지능(Embodied Agent)으로 — 아르멘 아가자니안, Perceptron AI

기존 멀티모달 프레임워크는 텍스트를 출력하는 VLM이나 행동을 출력하는 VLA, 비디오를 출력하는 월드 모델 등으로 나뉘어 학습되었다. 퍼셉트론이 지향하는 피지컬 AI는 모달리티를 초기에 통합하는 얼리 융합(Early Fusion) 방식을 채택한다. 다양한 감각 입력을 기반으로 공간 이해, 추론, 최종 기계 제어까지 통합 수행하는 단일 모델 구조를 지향한다.

비디오 데이터 학습 시 전체 픽셀을 예측하는 방식은 배경과 주요 접촉점에 동일한 어텐션을 부여하여 연산 효율을 저하시킨다. 그리퍼 끝부분과 같은 주요 인지 요소를 모델이 스스로 학습하도록 유도함으로써 학습 신호 희소성을 해결한다. 또한 Data-Sparse MoE 논문에서 제시된 라우팅 방식을 통해 모든 레이어에서 연산 추가 비용 없이 작업 관련성이 높은 과일, 그래프 등의 토큰만 집중 추론한다.

단순 박스 지정 방식의 비전 감지와 달리, 모델 스스로 타일링을 결정하거나 대비를 조절해 이미지 속 숨겨진 물체를 감지하는 에이전트형 인지를 수행한다. 로보틱스 시스템에서는 장시간 작업을 하위 작업으로 분할하는 오케스트레이터 모델과 하위 제어 정책이 결합하는 구조를 보인다. 고속 처리 속도와 저렴한 비용을 바탕으로 복잡한 1인칭 로봇 데이터에 대한 자동 주석 작업을 효율화한다.

시간당 100달러에 달하는 원격 조작 데이터 수집 비용을 비디오 사전 학습 데이터 10배 확충을 통해 10분의 1 수준으로 대체 가능한 스케일링 법칙을 입증했다. 인지 및 제어가 결합된 통합 모델은 책 제목을 읽고 분류하는 다단계 제로샷 작업을 성공적으로 완수한다. 또한 실시간 데이터 증강 기법과 얼리 융합 패러다임을 결합하여 시각적 환경 변형에 강건한 물리 제어 성능을 확보한다.