O RT-2 do Google DeepMind, o OpenVLA da Stanford-Toyota, o GR00T da NVIDIA, o LeRobot do Hugging Face e o Pi-Zero da Physical Intelligence dão aos robôs a capacidade de vincular entrada visual, comandos de linguagem e ações motoras em um único modelo. Essa capacidade substitui sequências de etapas codificadas manualmente por um comportamento de "ver e fazer", prometendo um desenvolvimento mais rápido e um acesso mais amplo à robótica.

Por que a visão-linguagem-ação é importante

Durante a maior parte da história da robótica, os engenheiros escreviam scripts explícitos que diziam ao robô cada movimento de articulação. A nova classe de modelos de Visão-Linguagem-Ação (VLA) trata um robô como um agente conversacional: uma câmera transmite uma imagem, um usuário fala ou digita um pedido, e o modelo gera os comandos motores necessários para cumpri-lo.

Os cinco modelos em destaque

  • RT-2 (Google DeepMind) – Conecta fluxos visuais brutos à linguagem humana, permitindo que um robô descreva o que vê e aja com base em instruções faladas.
  • OpenVLA (Stanford + Toyota) – Um lançamento de código aberto que permite que qualquer desenvolvedor integre o modelo ao seu próprio hardware.
  • GR00T (NVIDIA) – Construído para plataformas humanoides, ele raciocina sobre a cena e gera comandos motores de baixo nível.
  • LeRobot (Hugging Face) – Fornece um repositório de dados e um conjunto de ferramentas que aceleram o treinamento e a integração de modelos para desenvolvedores de robôs.
  • Pi-Zero (Physical Intelligence) – Afirma que um único "cérebro" pode ser reutilizado em diferentes corpos de robôs, simplificando as pilhas de software para hardwares variados.

Dados, simulação e o problema do desvio (drift)

Todos os cinco modelos baseiam-se em conjuntos de dados massivos, a maioria dos quais vem de ambientes simulados, pois a coleta no mundo real é cara e arriscada. Essa dependência cria um desvio "sim-to-real": comportamentos aprendidos em mundos virtuais perfeitos podem falhar ao enfrentar sensores ruidosos, iluminação irregular ou obstáculos inesperados.