Fei-Fei Li dan Yunzhu Li memberitahu sebuah podcast a16z baru-baru ini bahawa World Labs sedang melancarkan saluran paip “real-to-sim-to-real” yang membolehkan robot mempelajari tugas spatial dalam kembar digital berketepatan tinggi sebelum mereka menyentuh lantai fizikal. Pendekatan ini mengurangkan kos dan risiko pengumpulan data latihan robot, satu halangan yang telah menyebabkan banyak projek automasi terperangkap di dalam makmal.

Mengapa robot memerlukan lebih daripada sekadar bahasa

Model bahasa besar boleh menyaring seluruh internet untuk teks, tetapi robot tidak boleh sekadar menonton video dan meniru apa yang dilihatnya. Untuk bergerak melalui gudang atau membersihkan bilik hotel, robot mesti memahami geometri tiga dimensi, sifat permukaan, dan fizik menolak, mengangkat dan menyusun. Itu adalah ramuan “kecerdasan spatial,” dan ia sukar untuk ditangkap secara besar-besaran di dunia nyata.

Kesesakan data

Mengumpul data robot dunia nyata adalah perlahan, mahal dan kadangkala berbahaya. Satu kesilapan kecil boleh merosakkan perkakasan, menghentikan talian pengeluaran, atau mencederakan pekerja manusia. Disebabkan itu, kebanyakan pasukan robotik bergantung kepada set data kecil yang dibuat secara manual yang tidak merangkumi kepelbagaian persekitaran harian.

World Labs mengelakkan kesesakan ini dengan membina dunia digital yang selaras. Sistem SceniX mereka memetakan ruang fizikal ke dalam simulasi yang mengekalkan geometri (bentuk dinding dan objek), rupa (tekstur, warna, pencahayaan) dan fizik (bagaimana objek bergerak apabila ditolak). Robot berlatih dalam salinan maya tersebut, kemudian polisi yang sama dipindahkan kembali ke tetapan dunia nyata.

Model video tidak mencukupi

Beberapa penyelidik berpendapat bahawa penjana video beresolusi tinggi boleh menggantikan simulasi fizikal. Model tersebut boleh menghasilkan bingkai yang munasabah daripada sudut pandangan robot, tetapi ia kekurangan fizik yang konsisten. Jika video simulasi menunjukkan cawan hilang selepas ditolak, robot yang dilatih dengan rakaman tersebut akan mempelajari hubungan sebab-akibat yang salah. Saluran paip World Labs menegaskan dunia yang kekal koheren merentasi masa, ruang dan interaksi, memastikan “memori otot” robot sepadan dengan fizik dunia nyata.

Mensasarkan ruang separa berstruktur

Pasukan ini tidak menyasarkan pembantu humanoid yang berjalan melalui ruang tamu esok. Sebaliknya, mereka fokus pada persekitaran separa berstruktur di mana susun aturnya cukup boleh diramal untuk kembar digital menjadi tepat, namun cukup pelbagai untuk memerlukan penaakulan spatial yang tulen. Contohnya termasuk:

  • Gudang di mana barangan disimpan di rak dan palet
  • Restoran dengan meja, kerusi dan kakitangan yang bergerak
  • Hotel dengan koridor, bilik dan troli perkhidmatan
  • Tapak industri dengan jentera, tali sawat dan penghalang keselamatan

Ini adalah tempat di mana perniagaan sudah pun meminta automasi. Satu tinjauan baru-baru ini yang dipetik dalam podcast tersebut mendapati bahawa satu pertiga daripada tugas robot yang diminta melibatkan pembersihan—kerja berulang dan tidak menyenangkan yang ingin diserahkan oleh manusia kepada mesin.

Rupa kejayaan

Peta jalan World Labs bergantung kepada pembuktian saluran paip tersebut dalam industri tertentu dalam tempoh dua tahun akan datang. Jika robot boleh menggerakkan palet berulang kali dalam gudang simulasi dan kemudian melakukan perkara yang sama di kemudahan sebenar tanpa latihan semula, model tersebut telah menunjukkan bahawa “simulasi yang boleh dipercayai membawa kepada robot yang boleh dipercayai.” Kebolehpercayaan itu boleh membuka kontrak yang lebih besar dan mewajarkan pelaburan awal dalam penciptaan kembar digital.

Apa yang perlu diperhatikan seterusnya

  • Rintis industri – Beberapa pelaksanaan pertama di gudang atau hotel akan mendedahkan sama ada saluran paip tersebut boleh mengendalikan kes-kes luar jangka yang kucar-kacir yang hanya muncul di lantai operasi.

Idea terasnya mudah: berikan robot ruang latihan yang sempurna sebelum mereka melangkah ke pentas. Jika World Labs dapat menukar latihan itu kepada prestasi yang konsisten, masalah paling sukar dalam robotik—mengajar mesin untuk memahami dan bertindak dalam dunia fizikal—mungkin akhirnya mempunyai penyelesaian praktikal.