Google DeepMind ਦਾ RT-2, Stanford-Toyota ਦਾ OpenVLA, NVIDIA ਦਾ GR00T, Hugging Face ਦਾ LeRobot ਅਤੇ Physical Intelligence ਦਾ Pi-Zero ਰੋਬੋਟਾਂ ਨੂੰ ਇੱਕ ਸਿੰਗਲ ਮਾਡਲ ਵਿੱਚ ਵਿਜ਼ੂਅਲ ਇਨਪੁਟ, ਭਾਸ਼ਾ ਦੇ ਹੁਕਮਾਂ ਅਤੇ ਮੋਟਰ ਐਕਸ਼ਨਾਂ ਨੂੰ ਜੋੜਨ ਦੀ ਸਮਰੱਥਾ ਦਿੰਦੇ ਹਨ। ਇਹ ਸਮਰੱਥਾ ਹੱਥ ਨਾਲ ਕੋਡ ਕੀਤੇ ਗਏ ਸਟੈਪ ਸੀਕੁਐਂਸਾਂ ਦੀ ਜਗ੍ਹਾ "ਦੇਖੋ-ਅਤੇ-ਕਰੋ" (see-and-do) ਵਿਵਹਾਰ ਲਿਆਉਂਦੀ ਹੈ, ਜੋ ਤੇਜ਼ ਵਿਕਾਸ ਅਤੇ ਰੋਬੋਟਿਕਸ ਤੱਕ ਵਿਆਪਕ ਪਹੁੰਚ ਦਾ ਵਾਅਦਾ ਕਰਦੀ ਹੈ।

ਵਿਜ਼ਨ-ਲੈਂਗੂਏਜ-ਐਕਸ਼ਨ (vision-language-action) ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ

ਰੋਬੋਟਿਕਸ ਦੇ ਜ਼ਿਆਦਾਤਰ ਇਤਿਹਾਸ ਵਿੱਚ, ਇੰਜੀਨੀਅਰਾਂ ਨੇ ਅਜਿਹੇ ਸਪੱਸ਼ਟ ਸਕ੍ਰਿਪਟ ਲਿਖੇ ਸਨ ਜੋ ਰੋਬੋਟ ਨੂੰ ਹਰ ਜੋੜ ਦੀ ਹਰਕਤ (joint movement) ਬਾਰੇ ਦੱਸਦੇ ਸਨ। ਵਿਜ਼ਨ-ਲੈਂਗੂਏਜ-ਐਕਸ਼ਨ (VLA) ਮਾਡਲਾਂ ਦੀ ਨਵੀਂ ਸ਼੍ਰੇਣੀ ਰੋਬੋਟ ਨੂੰ ਇੱਕ ਸੰਵਾਦਕਾਰੀ ਏਜੰਟ (conversational agent) ਵਾਂਗ ਮੰਨਦੀ ਹੈ: ਇੱਕ ਕੈਮਰਾ ਤਸਵੀਰ ਸਟ੍ਰੀਮ ਕਰਦਾ ਹੈ, ਇੱਕ ਉਪਭੋਗਤਾ ਬੇਨਤੀ ਬੋਲਦਾ ਜਾਂ ਟਾਈਪ ਕਰਦਾ ਹੈ, ਅਤੇ ਮਾਡਲ ਉਸ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ ਲੋੜੀਂਦੇ ਮੋਟਰ ਕਮਾਂਡਾਂ ਜਾਰੀ ਕਰਦਾ ਹੈ।

ਮੌਜੂਦਾ ਪੰਜ ਮਾਡਲ

  • RT-2 (Google DeepMind) – ਰਅਅ ਵਿਜ਼ੂਅਲ ਸਟ੍ਰੀਮਾਂ (raw visual streams) ਨੂੰ ਮਨੁੱਖੀ ਭਾਸ਼ਾ ਨਾਲ ਜੋੜਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਰੋਬੋਟ ਜੋ ਦੇਖਦਾ ਹੈ ਉਸ ਦਾ ਵਰਣਨ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਬੋਲੇ ਗਏ ਨਿਰਦੇਸ਼ਾਂ 'ਤੇ ਕਾਰਵਾਈ ਕਰ ਸਕਦਾ ਹੈ।
  • OpenVLA (Stanford + Toyota) – ਇੱਕ ਓਪਨ-ਸੋਰਸ ਰਿਲੀਜ਼ ਜੋ ਕਿਸੇ ਵੀ ਡਿਵੈਲਪਰ ਨੂੰ ਮਾਡਲ ਨੂੰ ਆਪਣੇ ਹਾਰਡਵੇਅਰ ਵਿੱਚ ਜੋੜਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ।
  • GR00T (NVIDIA) – ਹਿਊਮਨੋਇਡ ਪਲੇਟਫਾਰਮਾਂ ਲਈ ਬਣਾਇਆ ਗਿਆ, ਇਹ ਦ੍ਰਿਸ਼ ਬਾਰੇ ਵਿਚਾਰ ਕਰਦਾ ਹੈ ਅਤੇ ਲੋ-ਲੈਵਲ ਮੋਟਰ ਕਮਾਂਡਾਂ ਤਿਆਰ ਕਰਦਾ ਹੈ।
  • LeRobot (Hugging Face) – ਇੱਕ ਡਾਟਾ ਰਿਪੋਜ਼ਟਰੀ ਅਤੇ ਟੂਲਸੈੱਟ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ ਜੋ ਰੋਬੋਟ ਡਿਵੈਲਪਰਾਂ ਲਈ ਮਾਡਲ ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਇੰਟੀਗ੍ਰੇਸ਼ਨ ਦੀ ਰਫ਼ਤਾਰ ਵਧਾਉਂਦਾ ਹੈ।
  • Pi-Zero (Physical Intelligence) – ਇਹ ਦੱਸਦਾ ਹੈ ਕਿ ਇੱਕ ਸਿੰਗਲ "ਦਿਮਾਗ" ਨੂੰ ਵੱਖ-ਵੱਖ ਰੋਬੋਟ ਸਰੀਰਾਂ ਵਿੱਚ ਦੁਬਾਰਾ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਜੋ ਵੱਖ-ਵੱਖ ਹਾਰਡਵੇਅਰ ਲਈ ਸਾਫਟਵੇਅਰ ਸਟੈਕਸ ਨੂੰ ਸਰਲ ਬਣਾਉਂਦਾ ਹੈ।

ਡਾਟਾ, ਸਿਮੂਲੇਸ਼ਨ ਅਤੇ ਡ੍ਰਿਫਟ (drift) ਦੀ ਸਮੱਸਿਆ

ਪੰਜੇ ਮਾਡਲ ਵਿਸ਼ਾਲ ਡੇਟਾਸੈਟਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਜ਼ਿਆਦਾਤਰ ਸਿਮੂਲੇਟਡ ਵਾਤਾਵਰਣਾਂ (simulated environments) ਤੋਂ ਆਉਂਦੇ ਹਨ ਕਿਉਂਕਿ ਅਸਲ ਦੁਨੀਆ ਵਿੱਚ ਡਾਟਾ ਇਕੱਠਾ ਕਰਨਾ ਮਹਿੰਗਾ ਅਤੇ ਜੋਖਮ ਭਰਿਆ ਹੁੰਦਾ ਹੈ। ਇਹ ਨਿਰਭਰਤਾ ਇੱਕ "ਸਿਮ-ਟੂ-ਰੀਅਲ" (sim-to-real) ਡ੍ਰਿਫਟ ਪੈਦਾ ਕਰਦੀ ਹੈ: ਸੰਪੂਰਨ ਵਰਚੁਅਲ ਦੁਨੀਆ ਵਿੱਚ ਸਿੱਖੇ ਗਏ ਵਿਵਹਾਰ ਸ਼ਾਇਦ ਨੋਇਜ਼ੀ ਸੈਂਸਰਾਂ, ਅਸਮਾਨ ਰੌਸ਼ਨੀ ਜਾਂ ਅਣਪਛਾਤੇ ਰੁਕਾਵਟਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨ ਵੇਲੇ ਅਸਫਲ ਹੋ ਸਕਦੇ ਹਨ।