Google DeepMind का RT-2, Stanford-Toyota का OpenVLA, NVIDIA का GR00T, Hugging Face का LeRobot और Physical Intelligence का Pi-Zero रोबोट्स को एक ही मॉडल में विजुअल इनपुट, भाषा के कमांड और मोटर एक्शन को जोड़ने की क्षमता प्रदान करते हैं। यह क्षमता हाथ से लिखे गए (hand-coded) स्टेप सीक्वेंस की जगह "देखें और करें" (see-and-do) व्यवहार को लाती है, जो रोबोटिक्स के तेज़ विकास और व्यापक पहुंच का वादा करती है।

विजन-लैंग्वेज-एक्शन (vision-language-action) क्यों महत्वपूर्ण है

रोबोटिक्स के अधिकांश इतिहास में, इंजीनियर स्पष्ट स्क्रिप्ट लिखते थे जो रोबोट को उसके प्रत्येक जोड़ (joint) की गति के बारे में बताती थीं। विजन-लैंग्वेज-एक्शन (VLA) मॉडल्स की नई श्रेणी रोबोट को एक संवादात्मक एजेंट (conversational agent) की तरह मानती है: एक कैमरा इमेज स्ट्रीम करता है, एक उपयोगकर्ता अनुरोध बोलता या टाइप करता है, और मॉडल उसे पूरा करने के लिए आवश्यक मोटर कमांड जारी करता है।

चर्चा में मौजूद पाँच मॉडल

  • RT-2 (Google DeepMind) – यह रॉ विजुअल स्ट्रीम को मानवीय भाषा से जोड़ता है, जिससे रोबोट यह बता सकता है कि वह क्या देख रहा है और बोले गए निर्देशों पर कार्य कर सकता है।
  • OpenVLA (Stanford + Toyota) – एक ओपन-सोर्स रिलीज़ जो किसी भी डेवलपर को मॉडल को अपने स्वयं के हार्डवेयर में जोड़ने की अनुमति देती है।
  • GR00T (NVIDIA) – ह्यूमनॉइड प्लेटफॉर्म के लिए निर्मित, यह दृश्य के बारे में तर्क करता है और लो-लेवल मोटर कमांड उत्पन्न करता है।
  • LeRobot (Hugging Face) – यह एक डेटा रिपॉजिटरी और टूलसेट प्रदान करता है जो रोबोट डेवलपर्स के लिए मॉडल ट्रेनिंग और इंटीग्रेशन को तेज़ करता है।
  • Pi-Zero (Physical Intelligence) – यह कहता है कि एक ही "ब्रेन" (मस्तिष्क) का उपयोग विभिन्न रोबोट बॉडीज़ में किया जा सकता है, जिससे विविध हार्डवेयर के लिए सॉफ्टवेयर स्टैक सरल हो जाता है।

डेटा, सिमुलेशन और ड्रिफ्ट (drift) की समस्या

ये पाँचों मॉडल विशाल डेटासेट पर निर्भर हैं, जिनमें से अधिकांश सिमुलेटेड वातावरण (simulated environments) से आते हैं क्योंकि वास्तविक दुनिया में डेटा एकत्र करना महंगा और जोखिम भरा होता है। यह निर्भरता एक "सिम-टू-रियल" (sim-to-real) ड्रिफ्ट पैदा करती है: पूर्ण वर्चुअल दुनिया में सीखे गए व्यवहार शोर वाले सेंसर (noisy sensors), असमान रोशनी या अप्रत्याशित बाधाओं का सामना करने पर विफल हो सकते हैं।