Fei-Fei Li와 Yunzhu Li는 최근 a16z 팟캐스트에서 World Labs가 "real-to-sim-to-real" 파이프라인을 출시하고 있다고 밝혔습니다. 이 파이프라인은 로봇이 실제 바닥을 밟기도 전에 고정밀 디지털 트윈(digital twins)에서 공간 작업을 학습할 수 있게 해줍니다. 이 접근 방식은 많은 자동화 프로젝트를 실험실에 머물게 했던 장애물인 로봇 학습 데이터 수집 비용과 위험을 줄여줍니다.

로봇에게 언어 이상의 것이 필요한 이유

대규모 언어 모델(LLM)은 인터넷 전체의 텍스트를 긁어모을 수 있지만, 로봇은 단순히 영상을 보고 보이는 것을 그대로 복사할 수 없습니다. 창고를 이동하거나 호텔 객실을 청소하려면 로봇은 3차원 기하학, 표면 특성, 그리고 밀기, 들어 올리기, 쌓기 등의 물리 법칙을 이해해야 합니다. 이것이 바로 "공간 지능(spatial intelligence)"의 구성 요소이며, 현실 세계에서 이를 대규모로 포착하기란 매우 어렵습니다.

데이터 병목 현상

실제 세계의 로봇 데이터를 수집하는 것은 느리고 비용이 많이 들며 때로는 위험하기까지 합니다. 단 한 번의 실수로도 하드웨어가 손상되거나 생산 라인이 중단되거나 심지어 인간 작업자가 다칠 수도 있습니다. 이 때문에 대부분의 로보틱스 팀은 일상적인 환경의 다양성을 포괄하지 못하는 작고 수작업으로 만들어진 데이터셋에 의존합니다.

World Labs는 정렬된 디지털 세계를 구축함으로써 이 병목 현상을 우회합니다. 이들의 SceniX 시스템은 물리적 공간을 기하학(벽과 물체의 모양), 외관(질감, 색상, 조명), 물리 법칙(물체를 밀었을 때 물체가 움직이는 방식)을 보존하는 시뮬레이션으로 매핑합니다. 로봇은 이 가상 복제본에서 연습한 뒤, 동일한 정책(policies)을 실제 환경으로 전이(transfer)합니다.

비디오 모델만으로는 부족하다

일부 연구자들은 고해상도 비디오 생성기가 물리 시뮬레이션을 대신할 수 있다고 주장합니다. 이러한 모델은 로봇의 시점에서 그럴듯한 프레임을 생성할 수 있지만, 일관된 물리 법칙이 부족합니다. 만약 시뮬레이션된 영상에서 컵을 밀었는데 컵이 사라져 버린다면, 해당 영상을 통해 학습한 로봇은 잘못된 인과 관계를 배우게 됩니다. World Labs의 파이프라인은 시간, 공간, 상호작용 전반에 걸쳐 일관성을 유지하는 세계를 지향하며, 로봇의 "근육 기억(muscle memory)"이 실제 물리 법칙과 일치하도록 보장합니다.

반구조화된 공간(semi-structured spaces) 타겟팅

이 팀은 당장 내일 거실을 거니는 휴머노이드 비서를 목표로 삼고 있지 않습니다. 대신, 디지털 트윈이 정확할 만큼 배치가 예측 가능하면서도, 진정한 공간 추론을 요구할 만큼 다양성이 존재하는 '반구조화된 환경'에 집중하고 있습니다. 예시는 다음과 같습니다:

  • 선반과 팔레트에 물품이 보관된 창고
  • 테이블, 의자 및 움직이는 직원이 있는 레스토랑
  • 복도, 객실 및 서비스 카트가 있는 호텔
  • 기계, 컨베이어 및 안전 차단벽이 있는 산업 현장

이곳들은 기업들이 이미 자동화를 요구하고 있는 곳들입니다. 최근 팟캐스트에서 인용된 설문 조사에 따르면, 요청된 로봇 작업의 3분의 1이 청소와 관련되어 있었습니다. 청소는 인간이 기계에 기꺼이 넘겨주고 싶어 하는 반복적이고 불쾌한 작업입니다.

성공의 모습

World Labs의 로드맵은 향후 2년 동안 특정 산업에서 이 파이프라인을 입증하는 데 달려 있습니다. 만약 로봇이 시뮬레이션된 창고에서 팔레트를 반복적으로 옮긴 후, 재학습 없이 실제 시설에서도 똑같이 수행할 수 있다면, 이 모델은 "신뢰할 수 있는 시뮬레이션이 신뢰할 수 있는 로봇을 만든다"는 것을 증명하게 됩니다. 이러한 신뢰성은 더 큰 계약을 이끌어내고 디지털 트윈 구축을 위한 초기 투자를 정당화할 수 있습니다.

향후 주목할 점

  • 산업 현장 파일럿 테스트 – 창고나 호텔에서의 첫 몇 차례 배치는 이 파이프라인이 실제 현장에서만 발생하는 복잡한 예외 상황(edge cases)을 처리할 수 있는지 여부를 보여줄 것입니다.

핵심 아이디어는 간단합니다. 로봇이 무대에 오르기 전에 완벽한 리허설 공간을 제공하는 것입니다. 만약 World Labs가 그 리허설을 일관된 성과로 바꿀 수 있다면, 로보틱스의 가장 어려운 문제인 '기계가 물리적 세계를 이해하고 행동하도록 가르치는 것'에 마침내 실질적인 해결책이 마련될지도 모릅니다.