Pourquoi les agents de codage IA échouent : l'écart critique entre les fichiers et les lignes

Bien que les agents de codage IA soient de plus en plus capables de résoudre des bugs logiciels, une nouvelle étude révèle qu'ils souffrent d'un problème de « localisation » significatif. Ils peuvent naviguer vers le bon fichier au sein d'une base de code massive, mais ils échouent fréquemment à identifier les lignes de code spécifiques nécessaires pour implémenter un correctif.

Présentation de SWE-Explore : aller au-delà des taux de réparation

Historiquement, l'efficacité des agents de codage IA a été mesurée par une seule métrique binaire : l'agent a-t-il corrigé le bug ou non ? Cette approche ignore le « pourquoi » d'un échec. Une réparation ratée peut signifier que l'agent a écrit un mauvais correctif, ou cela peut signifier que l'agent n'a même jamais examiné la logique pertinente.

Pour remédier à cet angle mort, une équipe de recherche internationale, comprenant des scientifiques de l'Université Jiao Tong de Shanghai, a développé SWE-Explore. Contrairement aux benchmarks traditionnels, SWE-Explore isole la phase de recherche en amont. Il évalue la capacité d'un agent à prendre une description de bug et à renvoyer une liste classée des sections de code spécifiques qui sont réellement pertinentes pour le problème. L'ensemble de données est vaste, s'appuyant sur 848 tâches réparties sur 203 projets open-source et dix langages de programmation, Python étant le plus représenté (547 tâches).

L'écart de précision : succès au niveau du fichier vs échec au niveau de la ligne

La découverte la plus frappante de l'étude est la disparité massive entre la précision au niveau du fichier et celle au niveau de la ligne. Testés face à des agents polyvalents comme Claude Code, Codex et OpenHands, les résultats sont éloquents :

• Précision au niveau du fichier : Les agents sont performants, identifiant avec succès les bons fichiers sources et les classant en tête de liste.
• Précision au niveau de la ligne : Les performances s'effondrent. Les agents de codage généralistes n'ont couvert que 14 % à 19 % des lignes de code réelles nécessaires à un correctif.

Curieusement, la simple mise à niveau du grand modèle de langage (LLM) sous-jacent ne résout pas ce problème. Qu'il s'agisse d'utiliser des modèles d'OpenAI, Anthropic, Google, Moonshot ou Zhipu, le schéma reste identique : des taux de réussite élevés pour les fichiers, mais une couverture des lignes abyssale. La recherche a noté que des systèmes spécialisés comme CoSIL surpassaient les agents généralistes en traitant le code comme un réseau de blocs de construction interconnectés, ce qui suggère que les changements architecturaux sont plus importants que la puissance brute du modèle.

L'effet de seuil : pourquoi « lire davantage » est important

Grâce à des expériences d'ablation contrôlées, les chercheurs ont découvert un « effet de seuil » concernant le contexte. En faisant varier la quantité de code essentiel fournie au modèle (de 0 % à 100 %), ils ont constaté que les réparations ne s'améliorent pas de manière linéaire.

Pour les tâches plus simples, il existe un point de bascule clair : si un agent voit moins de 50 % des régions de code essentielles nécessaires, le taux de réussite des réparations reste proche de zéro. Un bond significatif dans les réparations réussies ne se produit qu'une fois que l'agent a accès à entre 50 % et 75 % du contexte requis. Fait crucial, l'étude a révélé que fournir du code « bruit » non pertinent ne nuit pas autant aux performances que l'absence de lignes critiques. La conclusion pour les développeurs est claire : à l'ère des agents d'IA, il vaut mieux fournir plus de contexte que de risquer de filtrer les détails essentiels.

Points clés

• La localisation est le goulot d'étranglement : les agents d'IA sont compétents pour trouver le bon fichier, mais éprouvent des difficultés considérables à identifier précisément les lignes de code spécifiques nécessaires à une correction.
• Le passage à l'échelle des modèles n'est pas une solution miracle : passer à des LLM plus puissants ne résout pas l'écart de précision au niveau de la ligne ; des approches architecturales spécialisées comme CoSIL sont plus efficaces.
• La règle des 50 % de contexte : le succès des réparations par l'IA suit un modèle de seuil, nécessitant qu'au moins 50 à 75 % du contexte de code pertinent soit visible avant que les corrections réussies ne deviennent probables.