একটি মাইগ্রেশন টেস্টের মাধ্যমে Godot MCP পরীক্ষা করা হচ্ছে

আমি তিনটি Godot MCP পরীক্ষা করেছি। আমি Codex-কে একই কাজ দিয়েছিলাম: একটি Godot 3.6 প্রজেক্টকে Godot 4.6-এ মাইগ্রেট করা।

প্রজেক্টটি বেশ অগোছালো ছিল। এতে ২০৮টি এরর (error) এবং ৭৩টি ওয়ার্নিং (warning) ছিল। এটি ছিল একটি আসল পরীক্ষা, কোনো ছোটখাটো ডেমো নয়।

আমি Fennara (আমার নিজস্ব MCP), Godot AI, এবং Godot MCP Native পরীক্ষা করেছি।

আমি যা খুঁজে পেয়েছি তা নিচে দেওয়া হলো:

Fennara-এর ফলাফল

Fennara গভীর ফিডব্যাকের (feedback) ওপর গুরুত্ব দিয়েছিল। এটি শুধুমাত্র এডিটর আউটপুট পড়ার চেয়েও বেশি কিছু করেছিল। এটি শনাক্ত করেছিল:

  • স্ক্রিপ্ট এরর (Script errors)
  • সিন এরর (Scene errors)
  • শেডার এরর (Shader errors)
  • পুরনো API এরর (Old API errors)

Codex প্রায়ই get_class_info টুলটি ব্যবহার করেছিল। এটি AI-কে নতুন API নিয়ে আন্দাজ করা থেকে বিরত রেখেছিল। যখন Codex কোনো ফাইল এডিট করত, Fennara সাথে সাথে নতুন এররগুলো ফেরত দিত। AI অন্ধভাবে কাজ করেনি। এটি Godot থেকে তাৎক্ষণিক ফিডব্যাক পেয়েছিল।

Godot AI-এর ফলাফল

এই টুলটি ফিডব্যাকের ক্ষেত্রে হিমশিম খেয়েছিল।

  • সিন (scene) ভেঙে যাওয়ার পরেও এটি রিপোর্ট করেছিল যে প্রজেক্টটি চলছে।
  • এডিটর লগগুলোতে পুরনো ফাইল ভার্সনের পুরনো (stale) এরর ছিল।
  • Codex এমন সব এরর ঠিক করার চেষ্টা করেছিল যা আর ছিল না।
  • AI ভেবেছিল কাজ শেষ, কিন্তু রিলোড করার পর ৩০টি এরর থেকে গিয়েছিল।

Godot MCP Native-এর ফলাফল

এই টুলটির সমস্যাগুলো Godot AI-এর মতোই ছিল।

  • অতিরিক্ত টুলের কারণে এজেন্টের জন্য সঠিক টুলটি বেছে নেওয়া কঠিন হয়ে পড়েছিল।
  • Codex MCP টুলগুলোর পরিবর্তে টার্মিনালের ওপর নির্ভর করেছিল।
  • অন্যদের মতো এটিও কাজ শেষ করার দাবি করার পর কিছু এরর রেখে গিয়েছিল।

আমার উপসংহার

একটি AI এজেন্টের জন্য শুধু ফাইল অ্যাক্সেস থাকলেই চলে না। এর জন্য একটি নির্ভরযোগ্য ফিডব্যাক লুপ (feedback loop) প্রয়োজন।

Godot AI এজেন্টগুলোর প্রধান সমস্যাগুলো হলো:

  • পুরনো (stale) এডিটর আউটপুট
  • অস্পষ্ট রানটাইম এরর (runtime errors)
  • এডিটর ক্যাশ (cache) সংক্রান্ত সমস্যা
  • ইতিমধ্যে চলে যাওয়া এররগুলো ঠিক করার চেষ্টা করা
  • অতিরিক্ত টুলের কারণে বিভ্রান্তি তৈরি হওয়া

সেরা MCP সেটি নয় যার কমান্ড সবচেয়ে বেশি। বরং সেরা সেটিই যা AI-কে বুঝতে সাহায্য করে যে Godot আসলে কী বলছে। নির্ভরযোগ্য ফিডব্যাক AI-কে হ্যালুসিনেশন (hallucinating) করা থেকে বিরত রাখে।

Source: https://dev.to/fennaraofficial/i-tested-popular-godot-mcps-by-migrating-a-godot-36-project-to-godot-46-34d2

Optional learning community: https://t.me/GyaanSetuAi