𝗧𝗲𝘀𝘁 𝗱𝗲𝘀 𝗠𝗖𝗣 𝗚𝗼𝗱𝗼𝘁 𝗮̀ 𝘁𝗿𝗮𝘃𝗲𝗿𝘀 𝘂𝗻 𝘁𝗲𝘀𝘁 𝗱𝗲 𝗺𝗶𝗴𝗿𝗮𝘁𝗶𝗼𝗻

J'ai testé trois MCP Godot. J'ai confié la même tâche à Codex : migrer un projet Godot 3.6 vers Godot 4.6.

Le projet était désordonné. Il présentait 208 erreurs et 73 avertissements. C'était un véritable test, pas une simple démo.

J'ai testé Fennara (mon propre MCP), Godot AI et Godot MCP Native.

Voici ce que j'ai trouvé :

Résultats de Fennara Fennara s'est concentré sur un feedback approfondi. Il a fait plus que simplement lire la sortie de l'éditeur. Il a fait ressortir :

  • Des erreurs de script
  • Des erreurs de scène
  • Des erreurs de shader
  • Des erreurs d'anciennes API

Codex a souvent utilisé l'outil get_class_info. Cela a empêché l'IA de deviner les nouvelles API. Lorsque Codex modifiait un fichier, Fennara renvoyait immédiatement de nouvelles erreurs. L'IA ne travaillait pas à l'aveugle. Elle recevait un feedback instantané de Godot.

Résultats de Godot AI Cet outil a eu des difficultés avec le feedback.

  • Il indiquait que le projet tournait même lorsque la scène était corrompue.
  • Les journaux de l'éditeur contenaient des erreurs obsolètes provenant d'anciennes versions de fichiers.
  • Codex a tenté de corriger des erreurs qui n'existaient plus.
  • L'IA pensait avoir terminé, mais 30 erreurs subsistaient après un rechargement.

Résultats de Godot MCP Native Cet outil présentait des problèmes similaires à Godot AI.

  • Le fait d'avoir trop d'outils rendait difficile le choix du bon outil pour l'agent.
  • Codex s'est appuyé sur le terminal plutôt que sur les outils MCP.
  • Comme les autres, il a laissé des erreurs derrière lui après avoir affirmé avoir terminé.

Ma conclusion Un agent IA a besoin de plus qu'un simple accès aux fichiers. Il a besoin d'une boucle de rétroaction fiable.

Les plus gros problèmes des agents IA Godot sont :

  • Des sorties d'éditeur obsolètes
  • Des erreurs d'exécution (runtime) peu claires
  • Des problèmes de cache de l'éditeur
  • La correction d'erreurs déjà disparues
  • Trop d'outils provoquant de la confusion

Le meilleur MCP n'est pas celui qui possède le plus de commandes. C'est celui qui aide l'IA à comprendre ce que Godot dit réellement. Un feedback fiable empêche l'IA d'halluciner.

Source: https://dev.to/fennaraofficial/i-tested-popular-godot-mcps-by-migrating-a-godot-36-project-to-godot-46-34d2

Communauté d'apprentissage optionnelle: https://t.me/GyaanSetuAi