Kurs ISO 42001, który nie chciał przejść

Przeprowadziliśmy kurs ISO 42001 Lead Auditor. Ciągle nie przechodził naszych wewnętrznych kontroli jakości.

Materiał nie był bezsensowny. Był subtelny. Zadanie dotyczące zarządzania AI nagle odwoływało się zamiast tego do norm zarządzania środowiskowego.

Próbowaliśmy wszystkiego, aby to naprawić. Ponownie uruchomiliśmy generatory. Uszczelniliśmy prompty. Dodaliśmy nowe reguły. Za każdym razem kończyło się niepowodzeniem.

Myśleliśmy, że kurs jest wadliwy. Myliliśmy się. To system pomiarowy był wadliwy.

Zorientowaliśmy się, że mamy 22 różne sposoby generowania treści. Niektóre podlegały ścisłym regułom. Inne były osierocone.

Nasz audytor sprawdzał tylko kontrolowane ścieżki. Wada znajdowała się na niemonitorowanej ścieżce.

Kurs przeszedł nasze testy, ponieważ nasze testy obejmowały tylko 40% systemu. „PASS” oznaczało jedynie, że nie znaleźliśmy żadnych wad w małym obszarze, który sprawdziliśmy.

To niebezpieczny rodzaj zieleni. To zielony znaczek, który ukrywa prawdę.

Przestaliśmy pytać „Dlaczego to nie działa?”, a zaczęliśmy pytać „Dlaczego wszystko inne przechodzi?”.

Odbudowaliśmy system w pięciu fazach:

  • Stworzyliśmy pojedyncze źródło prawdy (single source of truth) dla całego procesu generowania treści.
  • Dodaliśmy mechanizm pochodzenia (provenance), aby każda treść wskazywała swoje źródło i wersję.
  • Objęliśmy osierocone ścieżki ścisłym nadzorem.
  • Zbudowaliśmy automatyczne bramki, aby blokować wszelkie treści, które nie przechodzą krytycznych kontroli.
  • Przeprowadziliśmy pełny audyt portfela, aby udowodnić, że nasz nowy system działa.

Wynik? Nasz audyt nie wykazał żadnych poważnych wad w całym portfelu.

Ta praca nie była wartościowa dlatego, że wykryła bałagan. Była wartościowa, ponieważ dostarczyła dowodów na to, że żaden bałagan nie istnieje.

Jeśli pracujesz w inżynierii, SRE lub compliance, pamiętaj o tych zasadach:

  • „PASS” nie oznacza, że Twój system jest czysty. Oznacza to, że Twój detektor nie znalazł niczego w obszarze, który sprawdził.
  • Zawsze raportuj pokrycie (coverage) i pewność (confidence) wraz ze swoimi wynikami.
  • Jeśli coś zawodzi wielokrotnie mimo lokalnych poprawek, podejrzewaj system, który to ocenia.
  • Najniebezpieczniejszym błędem jest system pomiarowy, który z pewnością siebie raportuje błędny poziom pewności.
  • Nie myl braku incydentów z brakiem ryzyka.

Czy Twój dashboard jest zielony, bo system jest czysty, czy dlatego, że nikt niczego nie sprawdza?

Źródło: https://dev.to/cpdforge/the-iso-42001-course-that-refused-to-pass-558f

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi