Fei-Fei Li und Yunzhu Li berichteten kürzlich in einem a16z-Podcast, dass World Labs eine „real-to-sim-to-real“-Pipeline einführt, mit der Roboter räumliche Aufgaben in hochpräzisen digitalen Zwillingen erlernen können, noch bevor sie jemals einen physischen Boden berühren. Dieser Ansatz senkt die Kosten und das Risiko bei der Erfassung von Trainingsdaten für Roboter – eine Hürde, die viele Automatisierungsprojekte bisher im Labor feststecken ließ.

Warum Roboter mehr als nur Sprache benötigen

Große Sprachmodelle können das gesamte Internet nach Text durchsuchen, aber ein Roboter kann nicht einfach Videos beobachten und das Gesehene kopieren. Um sich in einem Lagerhaus zu bewegen oder ein Hotelzimmer zu reinigen, muss ein Roboter die dreidimensionale Geometrie, Oberflächeneigenschaften sowie die Physik des Schiebens, Hebens und Stapelns verstehen. Dies sind die Zutaten der „räumlichen Intelligenz“ (spatial intelligence), und sie lassen sich in der realen Welt nur schwer in großem Maßstab erfassen.

Der Datenengpass

Das Sammeln von Roboterdaten aus der realen Welt ist langsam, teuer und manchmal gefährlich. Ein einziger Zwischenfall kann Hardware beschädigen, eine Produktionslinie stoppen oder sogar einen menschlichen Arbeiter verletzen. Aus diesem Grund verlassen sich die meisten Robotik-Teams auf kleine, handgefertigte Datensätze, die die Vielfalt alltäglicher Umgebungen nicht abdecken.

World Labs umgeht diesen Engpass, indem sie abgestimmte digitale Welten erschaffen. Ihr SceniX-System bildet einen physischen Raum in eine Simulation ab, die Geometrie (die Form von Wänden und Objekten), Erscheinungsbild (Texturen, Farben, Beleuchtung) und Physik (wie sich Objekte bewegen, wenn man sie anstößt) bewahrt. Der Roboter übt in dieser virtuellen Kopie, und anschließend lassen sich dieselben Strategien auf die reale Umgebung übertragen.

Videomodelle reichen nicht aus

Einige Forscher argumentieren, dass hochauflösende Videogeneratoren die physikalische Simulation ersetzen könnten. Diese Modelle können zwar plausible Bilder aus der Sicht eines Roboters erzeugen, es fehlt ihnen jedoch an konsistenter Physik. Wenn ein simuliertes Video zeigt, dass ein Becher nach einem Stoß verschwindet, wird ein Roboter, der mit diesem Material trainiert wurde, eine falsche Ursache-Wirkungs-Beziehung erlernen. Die Pipeline von World Labs setzt auf Welten, die über Zeit, Raum und Interaktion hinweg kohärent bleiben, um sicherzustellen, dass das „Muskelgedächtnis“ des Roboters mit der realen Physik übereinstimmt.

Fokus auf semistrukturierte Räume

Das Team strebt nicht nach humanoiden Assistenten, die morgen durch ein Wohnzimmer schlendern. Stattdessen konzentrieren sie sich auf semistrukturierte Umgebungen, in denen das Layout vorhersagbar genug ist, damit ein digitaler Zwilling präzise arbeiten kann, aber dennoch vielfältig genug, um echtes räumliches Denken zu erfordern. Beispiele hierfür sind:

  • Lagerhäuser, in denen Artikel in Regalen und auf Paletten gelagert werden
  • Restaurants mit Tischen, Stühlen und sich bewegendem Personal
  • Hotels mit Fluren, Zimmern und Servicewagen
  • Industriestandorte mit Maschinen, Förderbändern und Sicherheitsbarrieren

Dies sind die Bereiche, in denen Unternehmen bereits nach Automatisierung verlangen. Eine im Podcast erwähnte aktuelle Umfrage ergab, dass ein Drittel der angeforderten Roboteraufgaben die Reinigung umfasst – repetitive, unangenehme Arbeit, die Menschen gerne an Maschinen abgeben möchten.

Wie Erfolg aussieht

Die Roadmap von World Labs hängt davon ab, die Pipeline in den nächsten zwei Jahren in spezifischen Branchen unter Beweis zu stellen. Wenn ein Roboter eine Palette in einem simulierten Lagerhaus wiederholt bewegen kann und dies anschließend in einer realen Anlage ohne erneutes Training schafft, hat das Modell bewiesen: „Zuverlässige Simulation führt zu zuverlässigen Robotern“. Diese Zuverlässigkeit könnte größere Aufträge ermöglichen und die Vorabinvestitionen in die Erstellung digitaler Zwillinge rechtfertigen.

Worauf man als Nächstes achten sollte

  • Industriepiloten – Die ersten Einsätze in Lagerhäusern oder Hotels werden zeigen, ob die Pipeline auch mit den unvorhersehbaren Grenzsituationen (edge cases) umgehen kann, die erst in der Praxis auftreten.

Die Grundidee ist einfach: Geben Sie Robotern einen perfekten Proberaum, bevor sie die Bühne betreten. Wenn es World Labs gelingt, diese Probe in eine beständige Leistung zu verwandeln, könnte das schwierigste Problem der Robotik – Maschinen beizubringen, die physische Welt zu verstehen und in ihr zu agieren – endlich eine praktische Lösung finden.