RT-2 di Google DeepMind, OpenVLA di Stanford-Toyota, GR00T di NVIDIA, LeRobot di Hugging Face e Pi-Zero di Physical Intelligence conferiscono ai robot la capacità di collegare input visivi, comandi linguistici e azioni motorie in un unico modello. Questa capacità sostituisce le sequenze di passaggi codificate a mano con un comportamento "osserva-e-agisci", promettendo uno sviluppo più rapido e un accesso più ampio alla robotica.

Perché la visione-linguaggio-azione è importante

Per la maggior parte della storia della robotica, gli ingegneri scrivevano script espliciti che indicavano al robot ogni singolo movimento articolare. La nuova classe di modelli Vision-Language-Action (VLA) tratta il robot come un agente conversazionale: una telecamera trasmette un'immagine, un utente parla o digita una richiesta e il modello genera i comandi motori necessari per soddisfarla.

I cinque modelli in primo piano

  • RT-2 (Google DeepMind) – Collega flussi visivi grezzi al linguaggio umano, permettendo a un robot di descrivere ciò che vede e di agire in base a istruzioni verbali.
  • OpenVLA (Stanford + Toyota) – Un rilascio open-source che consente a qualsiasi sviluppatore di integrare il modello nel proprio hardware.
  • GR00T (NVIDIA) – Progettato per piattaforme umanoidi, ragiona sulla scena e genera comandi motori di basso livello.
  • LeRobot (Hugging Face) – Fornisce un repository di dati e un set di strumenti che accelerano l'addestramento e l'integrazione dei modelli per gli sviluppatori di robot.
  • Pi-Zero (Physical Intelligence) – Afferma che un singolo "cervello" può essere riutilizzato su diversi corpi robotici, semplificando gli stack software per hardware eterogenei.

Dati, simulazione e il problema del drift

Tutti e cinque i modelli si basano su dataset massicci, la maggior parte dei quali proviene da ambienti simulati poiché la raccolta nel mondo reale è costosa e rischiosa. Questa dipendenza crea un "drift sim-to-real": i comportamenti appresi in mondi virtuali perfetti potrebbero vacillare di fronte a sensori rumorosi, illuminazione irregolare o ostacoli imprevisti.