Fei-Fei Li dan Yunzhu Li mengatakan dalam podcast a16z baru-baru ini bahwa World Labs sedang meluncurkan alur kerja "real-to-sim-to-real" yang memungkinkan robot mempelajari tugas-tugas spasial dalam kembaran digital (digital twins) dengan fidelitas tinggi sebelum mereka menyentuh lantai fisik. Pendekatan ini memangkas biaya dan risiko pengumpulan data pelatihan robot, sebuah hambatan yang membuat banyak proyek otomasi tertahan di laboratorium.

Mengapa robot membutuhkan lebih dari sekadar bahasa

Model bahasa besar dapat menyisir seluruh internet untuk teks, tetapi robot tidak bisa sekadar menonton video dan meniru apa yang dilihatnya. Untuk bergerak melalui gudang atau membersihkan kamar hotel, robot harus memahami geometri tiga dimensi, sifat permukaan, serta fisika dari mendorong, mengangkat, dan menumpuk. Itulah bahan-bahan dari "kecerdasan spasial," dan hal tersebut sulit ditangkap dalam skala besar di dunia nyata.

Hambatan data

Mengumpulkan data robot di dunia nyata itu lambat, mahal, dan terkadang berbahaya. Satu kesalahan kecil dapat merusak perangkat keras, menghentikan lini produksi, atau bahkan melukai pekerja manusia. Karena itu, sebagian besar tim robotika mengandalkan kumpulan data kecil yang dibuat secara manual yang tidak mencakup keragaman lingkungan sehari-hari.

World Labs menghindari hambatan tersebut dengan membangun dunia digital yang selaras. Sistem SceniX mereka memetakan ruang fisik ke dalam simulasi yang mempertahankan geometri (bentuk dinding dan objek), tampilan (tekstur, warna, pencahayaan), dan fisika (bagaimana objek bergerak saat didorong). Robot berlatih di salinan virtual tersebut, kemudian kebijakan (policies) yang sama ditransfer kembali ke pengaturan dunia nyata.

Model video tidaklah cukup

Beberapa peneliti berpendapat bahwa generator video beresolusi tinggi dapat menggantikan simulasi fisik. Model-model tersebut dapat menghasilkan bingkai yang masuk akal dari sudut pandang robot, tetapi mereka kekurangan fisika yang konsisten. Jika video simulasi menunjukkan sebuah cangkir menghilang setelah didorong, robot yang dilatih dengan rekaman tersebut akan mempelajari hubungan sebab-akibat yang salah. Alur kerja World Labs bersikeras pada dunia yang tetap koheren melintasi waktu, ruang, dan interaksi, memastikan bahwa "memori otot" robot sesuai dengan fisika dunia nyata.

Menargetkan ruang semi-terstruktur

Tim ini tidak menargetkan asisten humanoid yang berjalan santai di ruang tamu besok. Sebaliknya, mereka fokus pada lingkungan semi-terstruktur di mana tata letaknya cukup dapat diprediksi agar kembaran digital dapat akurat, namun cukup bervariasi untuk menuntut penalaran spasial yang sesungguhnya. Contohnya meliputi:

  • Gudang tempat barang disimpan di rak dan palet
  • Restoran dengan meja, kursi, dan staf yang bergerak
  • Hotel dengan koridor, kamar, dan kereta layanan
  • Situs industri dengan mesin, konveyor, dan penghalang keselamatan

Ini adalah tempat-tempat di mana bisnis sudah meminta otomasi. Sebuah survei terbaru yang dikutip dalam podcast tersebut menemukan bahwa sepertiga dari tugas robot yang diminta melibatkan pembersihan—pekerjaan repetitif dan tidak menyenangkan yang ingin diserahkan manusia kepada mesin.

Seperti apa kesuksesan itu

Peta jalan World Labs bergantung pada pembuktian alur kerja tersebut di industri tertentu selama dua tahun ke depan. Jika sebuah robot dapat berulang kali memindahkan palet di gudang simulasi dan kemudian melakukan hal yang sama di fasilitas nyata tanpa pelatihan ulang, model tersebut telah menunjukkan bahwa "simulasi yang andal mengarah pada robot yang andal." Keandalan tersebut dapat membuka kontrak yang lebih besar dan membenarkan investasi awal dalam pembuatan kembaran digital.

Apa yang perlu diperhatikan selanjutnya

  • Pilot industri – Sejumlah kecil penerapan pertama di gudang atau hotel akan mengungkapkan apakah alur kerja tersebut dapat menangani kasus-kasus ekstrem (edge cases) yang berantakan yang hanya muncul di lantai kerja.

Ide intinya sederhana: berikan robot ruang latihan yang sempurna sebelum mereka melangkah ke atas panggung. Jika World Labs dapat mengubah latihan tersebut menjadi performa yang konsisten, masalah tersulit dalam robotika—mengajar mesin untuk memahami dan bertindak di dunia fisik—mungkin akhirnya memiliki solusi praktis.