XDOF, 피지컬 AI의 핵심적인 데이터 병목 현상을 해결하기 위해 등장하다

OpenAI가 로보틱스 프로그램을 재출시하며 피지컬 인텔리전스(physical intelligence) 경쟁이 가열됨에 따라, 고정밀 학습 데이터의 부족이라는 새로운 과제가 부상했습니다. 거대 언어 모델(LLM)이 방대한 공개 인터넷 데이터를 바탕으로 번창한 것과 달리, 로보틱스는 현재의 데이터셋으로는 제공할 수 없는 정밀한 물리적 상호작용 데이터를 필요로 합니다.

데이터 격차: 왜 LLM이 로보틱스 문제를 해결할 수 없는가

유능한 로봇을 개발하는 데 있어 주요 장애물은 단순히 연산 능력이나 모델 아키텍처가 아닙니다. 바로 GPT 모델에 사용된 텍스트에 필적하는 '데이터 해자(data moat)'의 부재입니다. 유튜브 영상이나 긱 워커(gig worker)들이 촬영한 저정밀 영상과 같은 현재의 대안들은 로봇 움직임의 복잡한 물리적 현실과 일치시키기가 어렵습니다. 모델을 학습시키기 위해서는 데이터가 필요하지만, 효율적인 데이터를 수집하기 위해서는 모델이 필요한 이 '닭과 달걀' 문제는 업계의 주요 병목 현상이 되었습니다.

스텔스 모드에서 벗어나 등장한 스타트업 XDOF는 이를 해결하기 위한 인프라 계층으로서 자리매김하고 있습니다. Thrive Capital, Spark Capital, a16z, Lux, WndrCo 등 거물급 투자사들로부터 7,000만 달러를 유치한 이 회사는 최첨단 AI 연구소들이 자체적으로 구축하는 데 어려움을 겪고 있는 파이프라인, 수집 도구 및 어노테이션(annotation) 시스템을 구축하고 있습니다.

ABC 데이터셋과 데이터 피라미드 구축

생태계에 활력을 불어넣기 위해, XDOF는 UC 버클리 AI 연구소와 협력하여 고품질 로봇 학습 데이터의 방대한 컬렉션인 "ABC"를 출시합니다. 이 데이터셋에는 다음이 포함됩니다:

이 데이터를 사용하여 연구팀들은 이미 티셔츠 접기, 상자 펴기, 에어팟을 케이스에 넣는 것과 같은 섬세한 작업에 대해 로봇을 성공적으로 학습시켰습니다.

XDOF의 전략은 포괄적인 학습을 보장하기 위해 3단계 '데이터 피라미드'를 따릅니다. 가장 가치 있는 단계는 대상 로봇에서 직접 수집된 원격 조작(teleoperation) 데이터입니다. 그다음은 GELLO(XDOF 공동 창립자인 Philippe Wu와 Fred Shentu가 개발한 저비용 원격 조작 시스템)와 같은 장치를 통해 수집된 일반 데이터입니다. 마지막 단계는 인간이 XDOF의 독자적인 센서를 착용하고 일상적인 작업을 수행하며 1인칭 물리적 움직임을 캡처하는 '에고센트릭(egocentric)' 데이터입니다.

프론티어 랩(Frontier Labs)의 규모를 넘어서는 확장성

투자자들에게 중요한 질문은 왜 주요 AI 랩들이 이러한 데이터 공장을 직접 구축하지 않느냐는 것입니다. Philippe Wu CEO에 따르면, 운영 복잡성이 엄청나기 때문입니다. 데이터 수집 작업을 운영하려면 수십만 평방피트의 창고 공간, 수백 대의 교정된 로봇, 그리고 숙련된 대규모 텔레오퍼레이터 인력이 필요합니다.

XDOF는 데이터 클리닝 및 하드웨어 특화 교정을 포함한 이러한 "화려하지 않은" 작업에 특화함으로써, AI 랩들이 모델 아키텍처에 집중할 수 있도록 하는 동시에 물리적 데이터 생산의 막대한 물류적 부담을 관리합니다. "자유도(degrees of freedom)"를 활용한 회사 이름은 인간의 팔이 가진 7자유도부터 휴머노이드의 30자유도에 이르기까지, 어떠한 임의의 복잡한 움직임에 대해서도 데이터를 제공하겠다는 목표를 반영합니다.

핵심 요약