Fei-Fei Li et Yunzhu Li ont confié lors d'un récent podcast d'a16z que World Labs déploie un pipeline « real-to-sim-to-real » qui permet aux robots d'apprendre des tâches spatiales dans des jumeaux numériques haute fidélité avant même de toucher un sol physique. Cette approche réduit le coût et les risques liés à la collecte de données d'entraînement pour les robots, un obstacle qui a maintenu de nombreux projets d'automatisation confinés aux laboratoires.

Pourquoi les robots ont besoin de plus que le langage

Les grands modèles de langage peuvent parcourir l'intégralité d'Internet pour du texte, mais un robot ne peut pas simplement regarder des vidéos et copier ce qu'il voit. Pour se déplacer dans un entrepôt ou nettoyer une chambre d'hôtel, un robot doit comprendre la géométrie tridimensionnelle, les propriétés de surface et la physique de la poussée, du levage et de l'empilage. Ce sont les ingrédients de l'« intelligence spatiale », et ils sont difficiles à capturer à grande échelle dans le monde réel.

Le goulot d'étranglement des données

Collecter des données robotiques dans le monde réel est lent, coûteux et parfois dangereux. Un seul incident peut endommager le matériel, interrompre une ligne de production ou même blesser un travailleur humain. Pour cette raison, la plupart des équipes de robotique s'appuient sur de petits ensembles de données artisanaux qui ne couvrent pas la diversité des environnements quotidiens.

World Labs contourne ce goulot d'étranglement en construisant des mondes numériques alignés. Leur système SceniX cartographie un espace physique dans une simulation qui préserve la géométrie (la forme des murs et des objets), l'apparence (textures, couleurs, éclairage) et la physique (la façon dont les objets bougent lorsqu'ils sont poussés). Le robot s'exerce dans cette copie virtuelle, puis les mêmes politiques sont transférées vers le cadre réel.

Les modèles vidéo ne suffisent pas

Certains chercheurs soutiennent que des générateurs de vidéos haute résolution pourraient remplacer la simulation physique. Ces modèles peuvent produire des images plausibles du point de vue d'un robot, mais ils manquent d'une physique cohérente. Si une vidéo simulée montre une tasse disparaissant après une poussée, un robot entraîné sur ces images apprendra une relation de cause à effet erronée. Le pipeline de World Labs insiste sur des mondes qui restent cohérents à travers le temps, l'espace et l'interaction, garantissant que la « mémoire musculaire » du robot correspond à la physique du monde réel.

Cibler les espaces semi-structurés

L'équipe ne vise pas des assistants humanoïdes qui déambulent dans un salon demain. Au lieu de cela, elle se concentre sur des environnements semi-structurés où l'agencement est suffisamment prévisible pour qu'un jumeau numérique soit précis, tout en étant assez varié pour exiger un véritable raisonnement spatial. Les exemples incluent :

  • Des entrepôts où les articles sont stockés sur des étagères et des palettes
  • Des restaurants avec des tables, des chaises et du personnel en mouvement
  • Des hôtels avec des couloirs, des chambres et des chariots de service
  • Des sites industriels avec des machines, des convoyeurs et des barrières de sécurité

Ce sont les endroits où les entreprises demandent déjà de l'automatisation. Une enquête récente citée dans le podcast a révélé qu'un tiers des tâches robotiques demandées concernent le nettoyage — un travail répétitif et désagréable que les humains sont impatients de confier aux machines.

À quoi ressemble le succès

La feuille de route de World Labs repose sur la preuve de l'efficacité du pipeline dans des industries spécifiques au cours des deux prochaines années. Si un robot peut déplacer de manière répétée une palette dans un entrepôt simulé, puis faire la même chose dans une installation réelle sans réentraînement, le modèle aura démontré que « une simulation fiable mène à des robots fiables ». Cette fiabilité pourrait débloquer des contrats plus importants et justifier l'investissement initial dans la création de jumeaux numériques.

Ce qu'il faut surveiller ensuite

  • Pilotes industriels – Les premiers déploiements dans des entrepôts ou des hôtels révéleront si le pipeline peut gérer les cas limites complexes qui n'apparaissent que sur le terrain.

L'idée centrale est simple : donner aux robots un espace de répétition parfait avant qu'ils ne montent sur scène. Si World Labs peut transformer cette répétition en une performance constante, le problème le plus difficile de la robotique — apprendre aux machines à comprendre et à agir dans le monde physique — pourrait enfin avoir une solution pratique.