𝗟𝗲 𝗽𝗶𝗲̀𝗴𝗲 𝗱𝗲𝘀 𝘁𝗲𝘀𝘁𝘀 𝗽𝗮𝗿 𝗹'𝗜𝗔
Vous entendez quelqu'un dire « nous avons livré 40 % de tests en plus ce trimestre » et tout le monde acquiesce.
J'ai vu cela se produire dans une entreprise SaaS à Tokyo. Le responsable QA était fier. La direction était satisfaite. Le pipeline était au vert.
Six semaines plus tard, un système de paiement est tombé en panne pendant 72 heures. Personne ne s'en est aperçu parce que l'IA avait écrit des tests qui vérifiaient l'« absence d'erreurs » au lieu de la « justesse des données ».
C'est l'aveuglement des tests (Testing Blindness).
Cela arrive lorsque votre équipe génère de nombreux tests mais ne peut pas distinguer quand ces tests vous mentent. L'IA facilite la confusion entre la couverture de tests et la qualité des tests.
Un article récent sur Qiita illustre exactement cette difficulté. Un ingénieur a utilisé l'IA pour gérer des projets sans automatisation. Les tests sont arrivés rapidement. Les métriques semblaient excellentes.
Mais l'ingénieur a dû apprendre Playwright et les tests d'API manuellement. Pourquoi ? Parce que l'IA savait écrire la syntaxe, mais ne comprenait pas comment le système fonctionnait.
L'aveuglement des tests présente trois symptômes principaux :
• Atrophie des assertions : Les tests passent parce qu'ils vérifient si le code plante, et non s'il fonctionne correctement. • Aveuglement sur les cas limites : L'IA se concentre sur les « happy paths ». Elle ignore les cas limites comme les entrées nulles ou les conditions de concurrence (race conditions). • Inflation de la confiance en la régression : Vous vous sentez en sécurité parce que le nombre de tests a doublé. En réalité, vous avez simplement doublé votre fausse confiance.
D'après mon expérience, les équipes passent de zéro test à 1 200 tests en quelques mois grâce à l'IA. Les rapports semblent parfaits. Le taux réel de détection de bugs chute.
Au Japon, l'accent mis sur la gestion et les processus (kanri) peut donner l'impression que ces chiffres élevés sont un succès. En Occident, les équipes sautent souvent les tests parce que l'IA facilite la tâche. Les deux voies mènent à des échecs en production.
L'IA optimise les métriques tout en nuisant à votre capacité de débogage.
Si vous utilisez l'IA en QA, suivez ces règles :
- Auditez les tests chaque semaine : Choisissez 5 tests générés par l'IA au hasard. Demandez-vous : « Qu'est-ce qui pourrait faire passer ce test de manière incorrecte ? » Si vous ne pouvez pas répondre rapidement, vous avez un angle mort.
- Fixez un quota de limites : Pour chaque tranche de 10 tests par l'IA, écrivez manuellement 2 tests de cas limites.
- Utilisez le test de 3h du matin : Demandez-vous si ces tests détecteraient une défaillance à 3h du matin. Si vous n'en êtes pas sûr, ils ne sont pas assez bons.
- Gardez un module en manuel : Testez une section critique à la main. Cela permet de garder vos compétences en débogage affûtées.
Ne confondez pas le volume de tests avec la qualité des tests. Ne laissez pas l'efficacité remplacer le jugement. Les tests qui vous sauvent sont ceux que vous comprenez réellement.
Votre équipe a-t-elle constaté une baisse de la qualité des tests depuis l'utilisation de l'IA ? Partagez votre expérience ci-dessous.
Optional learning community: https://t.me/GyaanSetuAi