Фей-Фей Ли и Юньчжу Ли в недавнем подкасте a16z рассказали, что World Labs внедряет конвейер «real-to-sim-to-real», который позволяет роботам обучаться пространственным задачам в высокоточных цифровых двойниках еще до того, как они коснутся реального пола. Такой подход снижает стоимость и риски сбора данных для обучения роботов — препятствие, из-за которого многие проекты автоматизации застревали на стадии лабораторных исследований.

Почему роботам нужно нечто большее, чем язык

Большие языковые модели могут просканировать весь интернет на наличие текста, но робот не может просто смотреть видео и копировать увиденное. Чтобы перемещаться по складу или убирать номер в отеле, робот должен понимать трехмерную геометрию, свойства поверхностей и физику процессов толкания, поднятия и штабелирования. Это составляющие «пространственного интеллекта», и их крайне сложно масштабировать в реальном мире.

Узкое место в данных

Сбор данных о работе роботов в реальном мире — процесс медленный, дорогой и иногда опасный. Одна ошибка может повредить оборудование, остановить производственную линию или даже травмировать человека. Из-за этого большинство команд разработчиков робототехники полагаются на небольшие, созданные вручную наборы данных, которые не охватывают разнообразие повседневных условий.

World Labs обходит это узкое место, создавая согласованные цифровые миры. Их система SceniX переносит физическое пространство в симуляцию, сохраняя геометрию (форму стен и объектов), внешний вид (текстуры, цвета, освещение) и физику (то, как объекты движутся при толчке). Робот тренируется в этой виртуальной копии, а затем те же алгоритмы управления переносятся в реальную среду.

Видеомоделей недостаточно

Некоторые исследователи утверждают, что генераторы видео высокого разрешения могут заменить физическую симуляцию. Такие модели могут создавать правдоподобные кадры с точки зрения робота, но им не хватает последовательной физики. Если на симулированном видео чашка исчезает после толчка, робот, обученный на таких кадрах, усвоит неверную причинно-следственную связь. Конвейер World Labs настаивает на мирах, которые остаются согласованными во времени, пространстве и взаимодействии, гарантируя, что «мышечная память» робота соответствует физике реального мира.

Ориентация на полуструктурированные пространства

Команда не стремится создать роботов-гуманоидов, которые завтра будут прогуливаться по гостиным. Вместо этого они фокусируются на полуструктурированных средах, где планировка достаточно предсказуема для точности цифрового двойника, но при этом достаточно разнообразна, чтобы требовать подлинного пространственного мышления. Примеры включают:

  • Склады, где товары хранятся на полках и поддонах
  • Рестораны со столами, стульями и движущимся персоналом
  • Отели с коридорами, номерами и сервисными тележками
  • Промышленные объекты с оборудованием, конвейерами и защитными барьерами

Это именно те места, где бизнес уже запрашивает автоматизацию. Недавний опрос, упомянутый в подкасте, показал, что треть востребованных задач для роботов связана с уборкой — повторяющейся, неприятной работой, которую люди стремятся передать машинам.

Как выглядит успех

Дорожная карта World Labs зависит от доказательства эффективности конвейера в конкретных отраслях в течение следующих двух лет. Если робот сможет многократно перемещать поддон на симулированном складе, а затем сделать то же самое на реальном объекте без переобучения, это докажет, что «надежная симуляция ведет к надежным роботам». Такая надежность может открыть доступ к более крупным контрактам и оправдать первоначальные инвестиции в создание цифровых двойников.

За чем следить дальше

  • Отраслевые пилотные проекты — первые внедрения на складах или в отелях покажут, сможет ли конвейер справиться с хаотичными пограничными случаями, которые возникают только непосредственно на рабочем месте.

Основная идея проста: дать роботам идеальное репетиционное пространство перед тем, как они выйдут на сцену. Если World Labs удастся превратить эту репетицию в стабильное выступление, самая сложная проблема в робототехнике — обучение машин пониманию физического мира и действиям в нем — может наконец получить практическое решение.