Fei-Fei Li氏とYunzhu Li氏は、最近のa16zのポッドキャストにて、World Labsが「real-to-sim-to-real（現実からシミュレーション、そして現実へ）」というパイプラインを展開していることを明らかにしました。これにより、ロボットは物理的な床に触れる前に、高精度なデジタルツインの中で空間的なタスクを学習できるようになります。このアプローチは、多くの自動化プロジェクトをラボの中に留めてきた障壁である、ロボットのトレーニングデータの収集コストとリスクを削減します。
なぜロボットには言語以上のものが必要なのか
大規模言語モデル（LLM）はインターネット上のテキストをすべてスクレイピングできますが、ロボットは単にビデオを見て、見たものをコピーするだけでは済みません。倉庫内を移動したり、ホテルの客室を掃除したりするには、ロボットは三次元的な幾何学、表面の特性、そして押す、持ち上げる、積み重ねるといった物理学を理解する必要があります。これらは「空間知能（spatial intelligence）」の構成要素であり、現実世界で大規模に捉えることは困難です。
データ収集のボトルネック
現実世界でのロボットデータの収集は、時間がかかり、コストも高く、時には危険を伴います。たった一度のミスがハードウェアを損傷させたり、生産ラインを停止させたり、あるいは人間の作業員に怪我をさせたりすることさえあります。そのため、ほとんどのロボティクスチームは、日常的な環境の多様性をカバーできていない、手作業で作られた小規模なデータセットに頼らざるを得ません。
World Labsは、整合性の取れたデジタル世界を構築することで、このボトルネックを回避しています。同社のSceniXシステムは、物理的な空間を、幾何学（壁や物体の形状）、外観（テクスチャ、色、照明）、および物理学（物体を突いた時の動き）を保持したままシミュレーションへとマッピングします。ロボットはその仮想的なコピーの中で練習を行い、その後、同じポリシー（制御手法）を現実の設定へと転送します。
ビデオモデルだけでは不十分
高解像度のビデオ生成モデルが物理シミュレーションの代わりになり得ると主張する研究者もいます。これらのモデルは、ロボットの視点から見たもっともらしいフレームを生成できますが、一貫した物理法則が欠けています。もしシミュレーションされたビデオで、コップを突いた後にコップが消えてしまったとしたら、その映像で学習したロボットは誤った因果関係を学んでしまいます。World Labsのパイプラインは、時間、空間、そして相互作用を通じて一貫性を保つ世界を重視しており、ロボットの「筋肉の記憶（muscle memory）」が現実世界の物理法則と一致することを保証します。
半構造化空間をターゲットにする
同チームは、明日にもリビングルームを歩き回るようなヒューマノイドのアシスタントを目指しているわけではありません。その代わりに、デジタルツインが正確であり得るほどレイアウトが予測可能でありながら、真の空間推論を必要とするほど多様性のある「半構造化環境」に焦点を当てています。例としては以下が挙げられます：
- 棚やパレットにアイテムが保管されている倉庫
- テーブル、椅子、そして動くスタッフがいるレストラン
- 廊下、客室、サービスカートがあるホテル
- 機械、コンベア、安全柵がある産業現場
これらは、企業がすでに自動化を求めている場所です。ポッドキャストで引用された最近の調査によると、要求されるロボットタスクの3分の1は掃除に関連しており、これは人間が機械に任せたいと考えている反復的で不快な作業です。
成功の形
World Labsのロードマップは、今後2年間にわたって特定の業界でこのパイプラインを実証できるかどうかにかかっています。もしロボットが、シミュレーション上の倉庫でパレットを繰り返し移動でき、その後、再学習なしで実際の施設でも同じことができれば、そのモデルは「信頼できるシミュレーションは、信頼できるロボットにつながる」ことを証明したことになります。その信頼性が、より大規模な契約を可能にし、デジタルツイン作成への先行投資を正当化することになるでしょう。
次に注目すべき点
- 業界でのパイロット運用 – 倉庫やホテルでの最初の数件の導入により、このパイプラインが現場でしか発生しない複雑なエッジケースに対処できるかどうかが明らかになります。
核となるアイデアはシンプルです。ロボットが舞台に上がる前に、完璧なリハーサル空間を与えることです。もしWorld Labsがそのリハーサルを安定したパフォーマンスに変えることができれば、ロボティクスにおける最大の難問、すなわち「機械に物理世界を理解させ、行動させる方法」に対して、ついに実用的な解決策が見つかるかもしれません。