𝗗𝗶𝗲 𝗞𝗜-𝗧𝗲𝘀𝘁𝗶𝗻𝗴-𝗙𝗮𝗹𝗹𝗲
Man hört jemanden sagen: „Wir haben dieses Quartal 40 % mehr Tests ausgeliefert“, und alle nicken.
Ich habe das bei einem SaaS-Unternehmen in Tokio erlebt. Der QA-Lead war stolz. Das Management war zufrieden. Die Pipeline war grün.
Sechs Wochen später fiel ein Zahlungssystem für 72 Stunden aus. Niemand bemerkte es, weil die KI Tests schrieb, die lediglich auf „keine Fehler“ prüften, anstatt auf „korrekte Daten“.
Das ist Testing Blindness.
Das passiert, wenn Ihr Team zwar viele Tests generiert, aber nicht mehr unterscheiden kann, wann diese Tests Sie belügen. KI macht es leicht, Testabdeckung mit Testqualität zu verwechseln.
Ein aktueller Post auf Qiita zeigt genau diesen Kampf. Ein Ingenieur nutzte KI, um Projekte ohne Automatisierung zu bewältigen. Die Tests kamen schnell. Die Metriken sahen großartig aus.
Aber der Ingenieur musste Playwright und API-Testing manuell lernen. Warum? Weil die KI zwar Syntax schreiben konnte, aber nicht verstand, wie das System funktionierte.
Testing Blindness hat drei Hauptsymptome:
• Assertion Atrophy: Tests bestehen, weil sie prüfen, ob der Code abstürzt, nicht ob er korrekt funktioniert. • Boundary Case Blindness: Die KI konzentriert sich auf „Happy Paths“. Sie übersieht Edge Cases wie Null-Inputs oder Race Conditions. • Regression Confidence Inflation: Man fühlt sich sicher, weil sich die Testanzahl verdoppelt hat. In Wirklichkeit hat man nur sein falsches Sicherheitsgefühl verdoppelt.
Meiner Erfahrung nach springen Teams mithilfe von KI innerhalb weniger Monate von null Tests auf 1.200 Tests. Die Berichte sehen perfekt aus. Die tatsächliche Fehlererkennungsrate sinkt jedoch.
In Japan kann der Fokus auf Management und Prozesse (Kanri) dazu führen, dass diese hohen Zahlen wie ein Erfolg wirken. Im Westen lassen Teams Tests oft weg, weil die KI es einfach macht. Beide Wege führen zu Fehlern in der Produktion.
KI optimiert auf Metriken, während sie gleichzeitig Ihre Fähigkeit zum Debugging beeinträchtigt.
Wenn Sie KI in der Qualitätssicherung (QA) einsetzen, befolgen Sie diese Regeln:
- Audit tests weekly: Wählen Sie 5 zufällige KI-Tests aus. Fragen Sie: „Was würde dazu führen, dass dieser Test fälschlicherweise besteht?“ Wenn Sie die Frage nicht schnell beantworten können, haben Sie einen blinden Fleck.
- Set a boundary quota: Schreiben Sie für alle 10 KI-Tests zwei Edge-Case-Tests manuell.
- Use the 3am test: Fragen Sie, ob diese Tests einen Fehler um 3 Uhr morgens finden würden. Wenn Sie sich nicht sicher sind, sind sie nicht gut genug.
- Keep one module manual: Testen Sie einen kritischen Bereich von Hand. Das hält Ihre Debugging-Fähigkeiten scharf.
Verwechseln Sie Testvolumen nicht mit Testqualität. Lassen Sie nicht zu, dass Effizienz das Urteilsvermögen ersetzt. Die Tests, die Sie retten, sind diejenigen, die Sie tatsächlich verstehen.
Hat Ihr Team seit der Nutzung von KI einen Rückgang der Testqualität erlebt? Teilen Sie Ihre Erfahrungen unten.
Optionale Lern-Community: https://t.me/GyaanSetuAi