Der ISO 42001-Kurs, der nicht bestehen wollte

Wir haben einen ISO 42001 Lead-Auditor-Kurs durchgeführt. Er scheiterte immer wieder an unseren internen Qualitätskontrollen.

Das Material war kein Unsinn. Es war subtil. Eine Aufgabe zum Thema KI-Management bezog sich plötzlich stattdessen auf Umweltmanagement-Standards.

Wir haben alles versucht, um es zu beheben. Wir haben die Generatoren erneut laufen lassen. Wir haben die Prompts verschärft. Wir haben neue Regeln hinzugefügt. Es scheiterte jedes Mal.

Wir dachten, der Kurs sei fehlerhaft. Wir lagen falsch. Das Messsystem war fehlerhaft.

Wir stellten fest, dass wir 22 verschiedene Wege hatten, Inhalte zu generieren. Einige wurden durch strenge Regeln gesteuert. Andere waren verwaist.

Unser Auditor prüfte nur die gesteuerten Pfade. Der Fehler lag in einem unüberwachten Pfad.

Der Kurs bestand unsere Tests, weil unsere Tests nur 40 % des Systems betrachteten. Ein „PASS“ bedeutete lediglich, dass wir in dem kleinen Bereich, den wir untersuchten, keine Fehler fanden.

Das ist eine gefährliche Art von „Grün“. Es ist ein grünes Häkchen, das die Wahrheit verbirgt.

Wir hörten auf zu fragen: „Warum schlägt das fehl?“ und begannen zu fragen: „Warum besteht alles andere?“

Wir haben das System in fünf Phasen neu aufgebaut:

  • Wir haben eine Single Source of Truth für die gesamte Inhaltserstellung geschaffen.
  • Wir haben Provenienz hinzugefügt, sodass jedes Stück Inhalt seinen Ursprung und seine Version anzeigt.
  • Wir haben die verwaisten Pfade unter eine strenge Governance gebracht.
  • Wir haben automatisierte Gates gebaut, um alle Inhalte zu blockieren, die kritische Prüfungen nicht bestehen.
  • Wir haben ein vollständiges Portfolio-Audit durchgeführt, um zu beweisen, dass unser neues System funktioniert.

Das Ergebnis? Unser Audit ergab null schwerwiegende Fehler im gesamten Portfolio.

Die Arbeit war nicht deshalb wertvoll, weil sie ein Chaos aufdeckte. Sie war wertvoll, weil sie den Beweis lieferte, dass kein Chaos existierte.

Wenn Sie in den Bereichen Engineering, SRE oder Compliance arbeiten, merken Sie sich diese Regeln:

  • Ein „PASS“ bedeutet nicht, dass Ihr System sauber ist. Es bedeutet, dass Ihr Detektor in dem Bereich, den er geprüft hat, nichts gefunden hat.
  • Berichten Sie immer die Abdeckung (Coverage) und das Konfidenzniveau (Confidence) zusammen mit Ihren Ergebnissen.
  • Wenn eine Sache trotz lokaler Korrekturen wiederholt fehlschlägt, misstrauen Sie dem System, das sie beurteilt.
  • Der gefährlichste Bug ist ein Messsystem, das selbstbewusst das falsche Maß an Sicherheit meldet.
  • Verwechseln Sie das Ausbleiben von Vorfällen nicht mit dem Fehlen von Risiko.

Ist Ihr Dashboard grün, weil das System sauber ist, oder weil niemand hinsieht?

Quelle: https://dev.to/cpdforge/the-iso-42001-course-that-refused-to-pass-558f

Optionale Lern-Community: https://t.me/GyaanSetuAi