Google DeepMind’ın RT-2'si, Stanford-Toyota’nın OpenVLA'sı, NVIDIA’nın GR00T'ü, Hugging Face’in LeRobot'u ve Physical Intelligence’ın Pi-Zero'su; robotlara görsel girdileri, dil komutlarını ve motor eylemlerini tek bir modelde birleştirme yeteneği kazandırıyor. Bu yetenek, elle kodlanmış adım dizilerini "gör ve yap" davranışı ile değiştirerek daha hızlı geliştirme ve robotik teknolojilerine daha geniş erişim vaat ediyor.
Görsel-dil-eylem neden önemlidir?
Robotik tarihinin büyük bir bölümünde mühendisler, robota her bir eklem hareketini söyleyen açık komut dosyaları yazıyordu. Yeni nesil Görsel-Dil-Eylem (VLA) modelleri, bir robotu konuşmacı bir ajan gibi ele alıyor: Bir kamera görüntü aktarıyor, bir kullanıcı bir istekte bulunuyor veya yazıyor ve model, bu isteği yerine getirmek için gereken motor komutlarını üretiyor.
Gündemdeki beş model
- RT-2 (Google DeepMind) – Ham görsel akışları insan diliyle ilişkilendirerek robotun gördüklerini tanımlamasını ve sözlü talimatlara göre hareket etmesini sağlar.
- OpenVLA (Stanford + Toyota) – Herhangi bir geliştiricinin modeli kendi donanımına entegre etmesine olanak tanıyan açık kaynaklı bir sürüm.
- GR00T (NVIDIA) – İnsansı platformlar için geliştirilmiştir; sahne hakkında muhakeme yapar ve düşük seviyeli motor komutları üretir.
- LeRobot (Hugging Face) – Robot geliştiricileri için model eğitimini ve entegrasyonunu hızlandıran bir veri deposu ve araç seti sunar.
- Pi-Zero (Physical Intelligence) – Tek bir "beynin" farklı robot gövdelerinde yeniden kullanılabileceğini belirterek çeşitli donanımlar için yazılım yığınlarını basitleştirir.
Veri, simülasyon ve sapma problemi
Beş modelin tamamı, büyük veri setlerine dayanmaktadır; gerçek dünyada veri toplamak maliyetli ve riskli olduğu için bu verilerin çoğu simüle edilmiş ortamlardan gelmektedir. Bu bağımlılık, bir "sim-to-real" (simülasyondan gerçeğe) sapmasına neden olur: Kusursuz sanal dünyalarda öğrenilen davranışlar; gürültülü sensörler, dengesiz aydınlatma veya beklenmedik engellerle karşılaşıldığında aksayabilir.