피지컬 AI의 다음 난제, 알맞은 비디오 데이터 찾기 — 라파엘 레비(Rafael Levi), Bright Data

AI 모델 구조는 빠르게 고도화되었으나 로봇 구동을 위한 피지컬 데이터의 공급은 턱없이 부족하다. 수조 개의 단어로 학습하는 텍스트 모델이나 수십억 개의 라벨링 이미지를 사용하는 시각 모델과 달리, 물리적 동작을 담은 비디오 데이터셋은 현저히 적다. 이를 보완하기 위해 인위적으로 촬영한 데이터셋은 카메라 앞에서의 어색한 행동 패턴을 학습하게 만들어 실제 직관적 조작 실패로 이어진다.

시뮬레이션 환경은 비용이 저렴하지만 실제 환경과의 물리적 격차가 존재하며, 직접 조작을 통한 데이터 수집은 일일 작업량의 한계로 대규모 확장이 불가능하다. 반면 유튜브 등 웹상에 존재하는 수십억 개의 1인칭 시점 비디오, 사고 비디오, 상호작용 비디오는 실제 물리 법칙과 인과관계를 담고 있다. 연속된 두 프레임의 움직임 변화를 측정하는 후처리 기법을 적용하면 3D 센서 정보 없이도 로봇 학습에 필요한 공간 및 각도 데이터를 추출할 수 있다.

전체 영상을 무작위로 다운로드한 뒤 정제하는 기존 방식은 대역폭, 저장 공간, 연산 자원의 심각한 낭비를 초래한다. '선 검색, 후 수집' 구조를 도입하면 전체 비디오 대신 '설거지하는 손 동작'이나 '옷을 접는 동작' 등 구체적 텍스트 설명에 매칭되는 특정 프레임 구간만 정확히 추출할 수 있다. 이는 수집 데이터의 손실률을 극단적으로 낮춘다.

개발자는 API를 통해 비디오 제목이나 키워드가 아닌 시각적 동작 기반의 검색 결과를 JSON 데이터 형태로 수신한다. 각 결과에는 고유 타임스탬프와 매칭 정확도가 포함되어 있어 불필요한 노이즈 데이터를 원천 차단한다. 해당 기술은 로봇 공학 외에도 도로 상황 블랙박스 영상을 활용한 자율주행 알고리즘 개선, 영상 내 특정 상표 노출 자동 검색 등 다양한 분야로 확장된다.