Fei-Fei Li ve Yunzhu Li, yakın zamanda bir a16z podcast'inde, World Labs'in robotların fiziksel bir zemine dokunmadan önce yüksek sadakatli dijital ikizler içinde uzamsal görevleri öğrenmelerine olanak tanıyan bir “real-to-sim-to-real” iş akışı sunduğunu belirttiler. Bu yaklaşım, birçok otomasyon projesinin laboratuvarlara hapsolmasına neden olan bir engel olan robot eğitim verisi toplama maliyetini ve riskini azaltıyor.

Neden robotların dilden daha fazlasına ihtiyacı var

Büyük dil modelleri metin için tüm interneti tarayabilir, ancak bir robot sadece videoları izleyip gördüklerini kopyalayamaz. Bir depoda hareket etmek veya bir otel odasını temizlemek için bir robotun üç boyutlu geometriyi, yüzey özelliklerini ve itme, kaldırma ve istifleme fiziğini anlaması gerekir. Bunlar “uzamsal zeka”nın bileşenleridir ve bunları gerçek dünyada ölçeklenebilir bir şekilde yakalamak zordur.

Veri darboğazı

Gerçek dünya robot verisi toplamak yavaş, pahalı ve bazen tehlikelidir. Tek bir aksilik donanıma zarar verebilir, bir üretim hattını durdurabilir ve hatta bir insan işçinin yaralanmasına neden olabilir. Bu nedenle, çoğu robotik ekibi, günlük ortamların çeşitliliğini kapsayamayan küçük, elle hazırlanmış veri setlerine güvenmektedir.

World Labs, uyumlu dijital dünyalar inşa ederek bu darboğazın etrafından dolanıyor. SceniX sistemleri, fiziksel bir alanı; geometriyi (duvarların ve nesnelerin şekli), görünümü (dokular, renkler, aydınlatma) ve fiziği (nesnelerin itildiğinde nasıl hareket ettiği) koruyan bir simülasyona dönüştürür. Robot bu sanal kopyada pratik yapar, ardından aynı politikalar gerçek ortama aktarılır.

Video modelleri yeterli değil

Bazı araştırmacılar, yüksek çözünürlüklü video oluşturucuların fiziksel simülasyonun yerini alabileceğini savunuyor. Bu modeller bir robotun bakış açısından makul kareler üretebilir, ancak tutarlı bir fiziksel yapıdan yoksundurlar. Eğer simüle edilmiş bir video, bir itme hareketinden sonra bir bardağın yok olduğunu gösteriyorsa, bu görüntüyle eğitilen bir robot yanlış neden-sonuç ilişkisi öğrenecektir. World Labs'in iş akışı, zaman, uzay ve etkileşim boyunca tutarlı kalan dünyalar üzerinde durarak robotun “kas hafızasının” gerçek dünya fiziğiyle eşleşmesini sağlar.

Yarı yapılandırılmış alanları hedeflemek

Ekip, yarın bir oturma odasında dolaşacak insansı asistanları hedeflemiyor. Bunun yerine, düzenin bir dijital ikiz için yeterince öngörülebilir, ancak gerçek bir uzamsal akıl yürütme gerektirecek kadar da değişken olduğu yarı yapılandırılmış ortamlara odaklanıyorlar. Örnekler şunlardır:

  • Ürünlerin raflarda ve paletlerde depolandığı depolar
  • Masaların, sandalyelerin ve hareket halindeki personelin bulunduğu restoranlar
  • Koridorların, odaların ve servis arabalarının bulunduğu oteller
  • Makinelerin, konveyörlerin ve güvenlik bariyerlerinin bulunduğu endüstriyel sahalar

Bunlar, işletmelerin halihazırda otomasyon talep ettiği yerlerdir. Podcast'te alıntılanan yakın tarihli bir anket, talep edilen robot görevlerinin üçte birinin temizlik içerdiğini ortaya koydu; bu da insanların makinelere devretmeye can attığı tekrarlayıcı ve tatsız bir iştir.

Başarı neye benzer

World Labs'in yol haritası, bu iş akışını önümüzdeki iki yıl içinde belirli sektörlerde kanıtlamaya dayanıyor. Eğer bir robot, simüle edilmiş bir depoda bir paleti defalarca hareket ettirebiliyor ve ardından yeniden eğitilmeye gerek duymadan aynı şeyi gerçek bir tesiste yapabiliyorsa, model “güvenilir simülasyon, güvenilir robotlara yol açar” ilkesini kanıtlamış demektir. Bu güvenilirlik, daha büyük sözleşmelerin önünü açabilir ve dijital ikiz oluşturmaya yapılan ön yatırımı haklı çıkarabilir.

Sırada ne var

  • Endüstriyel pilot uygulamalar – Depolarda veya otellerde yapılacak ilk birkaç uygulama, iş akışının yalnızca üretim sahasında ortaya çıkan karmaşık uç durumları ele alıp alamayacağını gösterecek.

Temel fikir basit: robotlara sahneye çıkmadan önce mükemmel bir prova alanı sağlayın. Eğer World Labs bu provayı tutarlı bir performansa dönüştürebilirse, robotikteki en zor problem olan makinelerin fiziksel dünyayı anlamasını ve fiziksel dünyada hareket etmesini sağlamak, nihayet pratik bir çözüme kavuşabilir.