Google DeepMind-এর RT-2, Stanford-Toyota-এর OpenVLA, NVIDIA-এর GR00T, Hugging Face-এর LeRobot এবং Physical Intelligence-এর Pi-Zero রোবটগুলোকে একটি মাত্র মডেলের মাধ্যমে ভিজ্যুয়াল ইনপুট, ভাষাগত কমান্ড এবং মোটর অ্যাকশনকে সংযুক্ত করার ক্ষমতা প্রদান করে। এই সক্ষমতা হাতে লেখা কোড বা ধাপের ক্রমের পরিবর্তে "দেখো এবং করো" (see-and-do) আচরণের মাধ্যমে কাজ সম্পন্ন করে, যা রোবোটিক্সের দ্রুত উন্নয়ন এবং এর ব্যাপক ব্যবহারের প্রতিশ্রুতি দেয়।

কেন ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন গুরুত্বপূর্ণ

রোবোটিক্সের ইতিহাসের বেশিরভাগ সময় জুড়ে প্রকৌশলীরা সুনির্দিষ্ট স্ক্রিপ্ট লিখে দিতেন যা রোবটের প্রতিটি জয়েন্টের মুভমেন্ট নির্দেশ করত। ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন (VLA) মডেলের এই নতুন শ্রেণি রোবটকে একটি কথোপকথনকারী এজেন্ট (conversational agent) হিসেবে বিবেচনা করে: একটি ক্যামেরা ছবি স্ট্রিম করে, একজন ব্যবহারকারী কোনো অনুরোধ মুখে বলেন বা টাইপ করেন, এবং মডেলটি সেই অনুরোধ পূরণের জন্য প্রয়োজনীয় মোটর কমান্ড প্রদান করে।

বর্তমানে আলোচিত পাঁচটি মডেল

  • RT-2 (Google DeepMind) – এটি র (raw) ভিজ্যুয়াল স্ট্রিমকে মানুষের ভাষার সাথে সংযুক্ত করে, যার ফলে একটি রোবট কী দেখছে তা বর্ণনা করতে পারে এবং মৌখিক নির্দেশনার ভিত্তিতে কাজ করতে পারে।
  • OpenVLA (Stanford + Toyota) – এটি একটি ওপেন-সোর্স রিলিজ যা যেকোনো ডেভেলপারকে তাদের নিজস্ব হার্ডওয়্যারে এই মডেলটি যুক্ত করার সুযোগ দেয়।
  • GR00T (NVIDIA) – হিউম্যানয়েড প্ল্যাটফর্মের জন্য তৈরি এই মডেলটি চারপাশের দৃশ্যপট বিশ্লেষণ করে এবং লো-লেভেল মোটর কমান্ড তৈরি করে।
  • LeRobot (Hugging Face) – এটি একটি ডেটা রিপোজিটরি এবং টুলসেট সরবরাহ করে যা রোবট ডেভেলপারদের জন্য মডেল ট্রেনিং এবং ইন্টিগ্রেশন প্রক্রিয়াকে ত্বরান্বিত করে।
  • Pi-Zero (Physical Intelligence) – এটি দাবি করে যে একটি মাত্র "মস্তিষ্ক" বিভিন্ন রোবট বডিতে পুনরায় ব্যবহার করা যেতে পারে, যা বিভিন্ন হার্ডওয়্যারের জন্য সফটওয়্যার স্ট্যাককে সহজতর করে।

ডেটা, সিমুলেশন এবং ড্রিপ্ট সমস্যা

এই পাঁচটি মডেলই বিশাল ডেটাসেটের ওপর নির্ভরশীল, যার বেশিরভাগই সিমুলেটেড পরিবেশ থেকে আসে কারণ বাস্তব জগতের ডেটা সংগ্রহ করা ব্যয়বহুল এবং ঝুঁকিপূর্ণ। এই নির্ভরশীলতা একটি "sim-to-real" ড্রিপ্ট তৈরি করে: নিখুঁত ভার্চুয়াল জগতে শেখা আচরণগুলো যখন নয়েজি সেন্সর, অসম আলো বা অপ্রত্যাশিত বাধার সম্মুখীন হয়, তখন সেগুলো ব্যর্থ হতে পারে।