פיי-פיי לי ויונזו לי סיפרו בפודקאסט האחרון של a16z ש-World Labs משיקה תהליך (pipeline) של "real-to-sim-to-real" המאפשר לרובוטים ללמוד משימות מרחביות ב"תאומים דיגיטליים" (digital twins) בעלי נאמנות גבוהה לפני שהם נוגעים ברצפה פיזית. הגישה הזו מפחיתה את העלות והסיכון של איסוף נתוני אימון לרובוטים, מכשול שגרם לפרויקטי אוטומציה רבים להיתקע במעבדות.
למה רובוטים זקוקים ליותר מסתם שפה
מודלי שפה גדולים יכולים לסרוק את כל האינטרנט כדי למצוא טקסט, אך רובוט לא יכול פשוט לצפות בסרטונים ולהעתיק את מה שהוא רואה. כדי לנוע במחסן או לנקות חדר במלון, רובוט חייב להבין גיאומטריה תלת-ממדית, תכונות משטח ופיזיקה של דחיפה, הרמה וערמה. אלו הם המרכיבים של "אינטליגנציה מרחבית" (spatial intelligence), וקשה ללכוד אותם בקנה מידה רחב בעולם האמיתי.
צוואר הבקבוק של הנתונים
איסוף נתוני רובוטיקה מהעולם האמיתי הוא איטי, יקר ולעיתים מסוכן. תקלה אחת עלולה לפגוע בחומרה, לעצור קו ייצור או אפילו לפצוע עובד אנושי. בשל כך, רוב צוותי הרובוטיקה מסתמכים על מערכי נתונים קטנים ומוכנים מראש (hand-crafted) שאינם מכסים את המגוון של הסביבות היומיומיות.
World Labs עוקפת את צוואר הבקבוק על ידי בניית עולמות דיגיטליים מיושרים (aligned). מערכת ה-SceniX שלהם ממפה מרחב פיזי לסימולציה ששומרת על הגיאומטריה (צורת הקירות והאובייקטים), המראה (מרקמים, צבעים, תאורה) והפיזיקה (כיצד אובייקטים נעים כשדוחפים אותם). הרובוט מתאמן בעותק הווירטואלי הזה, ואז אותן מדיניות (policies) מועברות חזרה לסביבה האמיתית.
מודלים של וידאו אינם מספיקים
חוקרים מסוימים טוענים שמחוללי וידאו ברזולוציה גבוהה יכולים להחליף סימולציה פיזית. מודלים אלו יכולים להפיק פריימים סבירים מנקודת המבט של הרובוט, אך חסרה להם פיזיקה עקבית. אם סרטון מדומה מראה כוס שנעלמת לאחר דחיפה, רובוט שאומן על צילומים כאלה ילמד קשר של סיבה ותוצאה שגוי. ה-pipeline של World Labs מתעקש על עולמות שנשארים קוהרנטיים לאורך זמן, מרחב ואינטראקציה, מה שמבטיח ש"זיכרון השריר" של הרובוט יתאים לפיזיקה של העולם האמיתי.
התמקדות בחללים חצי-מובנים (semi-structured)
הצוות לא שואף ליצור עוזרים אנושיים (humanoid) שיתהלכו בסלון מחר. במקום זאת, הם מתמקדים בסביבות חצי-מובנות שבהן הפריסה מספיק צפויה כדי שתאום דיגיטלי יהיה מדויק, אך מגוונת מספיק כדי לדרוש חשיבה מרחבית אמיתית. דוגמאות כוללות:
- מחסנים שבהם פריטים מאוחסנים על מדפים ומשטחים (pallets)
- מסעדות עם שולחנות, כיסאות וצוות בתנועה
- מלונות עם מסדרונות, חדרים ועגלות שירות
- אתרים תעשייתיים עם מכונות, מסועים ומחסומי בטיחות
אלו הם המקומות שבהם עסקים כבר מבקשים אוטומציה. סקר שנערך לאחרונה וצוטט בפודקאסט מצא ששליש ממשימות הרובוט המבוקשות כוללות ניקיון — עבודה חזרתית ולא נעימה שבני אדם להוטים להעביר למכונות.
איך נראה הצלחה
מפת הדרכים של World Labs תלויה בהוכחת ה-pipeline בתעשיות ספציפיות במהלך השנתיים הקרובות. אם רובוט יכול להזיז משטח (pallet) שוב ושוב במחסן מדומה ואז לעשות את אותו הדבר במתקן אמיתי ללא אימון מחדש, המודל הוכיח ש"סימולציה אמינה מובילה לרובוטים אמינים". האמינות הזו עשויה לפתוח חוזים גדולים יותר ולהצדיק את ההשקעה הראשונית ביצירת תאומים דיגיטליים.
מה כדאי לעקוב אחריו
- פיילוטים בתעשייה – קבוצת הפריסות הראשונה במחסנים או במלונות תחשוף האם ה-pipeline יכול להתמודד עם מקרי קצה (edge cases) מבולגנים שמופיעים רק בשטח.
הרעיון המרכזי הוא פשוט: תנו לרובוטים מרחב חזרות מושלם לפני שהם עולים על הבמה. אם World Labs תוכל להפוך את החזרות הללו להופעה עקבית, ייתכן שהבעיה הקשה ביותר ברובוטיקה — ללמד מכונות להבין ולפעול בעולם הפיזי — תמצא סוף סוף פתרון מעשי.