RT-2 ของ Google DeepMind, OpenVLA ของ Stanford-Toyota, GR00T ของ NVIDIA, LeRobot ของ Hugging Face และ Pi-Zero ของ Physical Intelligence ช่วยให้หุ่นยนต์มีความสามารถในการเชื่อมโยงข้อมูลภาพ คำสั่งภาษา และการเคลื่อนไหวของมอเตอร์เข้าด้วยกันในโมเดลเดียว ความสามารถนี้จะเข้ามาแทนที่การเขียนลำดับขั้นตอนด้วยมือ (hand-coded) ด้วยพฤติกรรมแบบ "เห็นแล้วทำ" (see-and-do) ซึ่งช่วยให้การพัฒนาทำได้รวดเร็วขึ้นและทำให้เข้าถึงเทคโนโลยีหุ่นยนต์ได้กว้างขวางยิ่งขึ้น

ทำไม vision-language-action ถึงมีความสำคัญ

ตลอดประวัติศาสตร์ส่วนใหญ่ของเทคโนโลยีหุ่นยนต์ วิศวกรต้องเขียนสคริปต์ที่ระบุอย่างชัดเจนเพื่อสั่งการการเคลื่อนไหวของข้อต่อแต่ละส่วนของหุ่นยนต์ แต่โมเดล Vision-Language-Action (VLA) รุ่นใหม่นี้จะปฏิบัติต่อหุ่นยนต์เหมือนกับเป็นเอเจนต์สนทนา (conversational agent) โดยกล้องจะสตรีมภาพออกมา ผู้ใช้พูดหรือพิมพ์คำขอ และโมเดลจะส่งคำสั่งมอเตอร์ที่จำเป็นเพื่อดำเนินการตามคำขอนั้นออกมา

5 โมเดลที่กำลังเป็นที่จับตามอง

  • RT-2 (Google DeepMind) – เชื่อมโยงข้อมูลภาพดิบเข้ากับภาษาของมนุษย์ ช่วยให้หุ่นยนต์สามารถอธิบายสิ่งที่เห็นและดำเนินการตามคำสั่งเสียงได้
  • OpenVLA (Stanford + Toyota) – เป็นโมเดลแบบโอเพนซอร์สที่ช่วยให้นักพัฒนาสามารถนำโมเดลไปปรับใช้กับฮาร์ดแวร์ของตนเองได้
  • GR00T (NVIDIA) – ถูกสร้างขึ้นสำหรับแพลตฟอร์มหุ่นยนต์ฮิวแมนนอยด์ (humanoid) โดยสามารถวิเคราะห์สถานการณ์และสร้างคำสั่งมอเตอร์ในระดับต่ำ (low-level motor commands)
  • LeRobot (Hugging Face) – จัดเตรียมคลังข้อมูลและชุดเครื่องมือที่ช่วยเร่งการฝึกฝนโมเดลและการรวมระบบสำหรับนักพัฒนาหุ่นยนต์
  • Pi-Zero (Physical Intelligence) – ระบุว่า "สมอง" เพียงหนึ่งเดียวสามารถนำไปใช้ซ้ำกับร่างกายหุ่นยนต์ที่แตกต่างกันได้ ซึ่งช่วยลดความซับซ้อนของซอฟต์แวร์สำหรับฮาร์ดแวร์ที่หลากหลาย

ข้อมูล การจำลอง และปัญหาเรื่องความคลาดเคลื่อน (drift)

ทั้งห้าโมเดลต่างพึ่งพาชุดข้อมูลมหาศาล ซึ่งส่วนใหญ่มาจากสภาพแวดล้อมจำลอง เนื่องจากความเสี่ยงและค่าใช้จ่ายสูงในการเก็บข้อมูลในโลกจริง การพึ่งพาดังกล่าวทำให้เกิดปัญหา "sim-to-real drift" หรือความคลาดเคลื่อนระหว่างการจำลองกับโลกจริง โดยพฤติกรรมที่เรียนรู้ในโลกเสมือนที่สมบูรณ์แบบอาจทำงานผิดพลาดเมื่อต้องเผชิญกับเซนเซอร์ที่มีสัญญาณรบกวน แสงที่ไม่สม่ำเสมอ หรืออุปสรรคที่ไม่คาดคิด