Kursus ISO 42001 yang Menolak untuk Lulus

Kami menjalankan kursus ISO 42001 Lead Auditor. Kursus tersebut terus gagal dalam pemeriksaan kualitas internal kami.

Materinya bukan omong kosong. Masalahnya sangat halus. Sebuah tugas manajemen AI tiba-tiba malah merujuk pada standar manajemen lingkungan.

Kami mencoba segala cara untuk memperbaikinya. Kami menjalankan ulang generatornya. Kami memperketat prompt. Kami menambahkan aturan baru. Namun, ia tetap gagal setiap saat.

Kami mengira kursusnya yang rusak. Kami salah. Sistem pengukurannya yang rusak.

Kami menyadari bahwa kami memiliki 22 cara berbeda untuk menghasilkan konten. Beberapa diatur oleh aturan yang ketat. Sisanya tidak terkelola.

Auditor kami hanya memeriksa jalur-jalur yang terkelola. Cacatnya berada di jalur yang tidak terpantau.

Kursus tersebut lulus pengujian kami karena pengujian kami hanya memeriksa 40% dari sistem. Status "LULUS" hanya berarti kami tidak menemukan cacat di area kecil yang kami periksa.

Ini adalah jenis indikator "hijau" yang berbahaya. Ini adalah tanda centang hijau yang menyembunyikan kebenaran.

Kami berhenti bertanya "Mengapa ini gagal?" dan mulai bertanya "Mengapa yang lainnya lulus?"

Kami membangun kembali sistem tersebut dalam lima fase:

  • Kami membuat satu sumber kebenaran tunggal (single source of truth) untuk semua pembuatan konten.
  • Kami menambahkan proveniensi agar setiap bagian konten menunjukkan asal-usul dan versinya.
  • Kami membawa jalur-jalur yang tidak terkelola ke bawah tata kelola yang ketat.
  • Kami membangun gerbang otomatis untuk memblokir konten apa pun yang gagal dalam pemeriksaan kritis.
  • Kami menjalankan audit portofolio penuh untuk membuktikan bahwa sistem baru kami berfungsi.

Hasilnya? Audit kami menemukan nol cacat utama di seluruh portofolio.

Pekerjaan tersebut berharga bukan karena ia menemukan kekacauan. Pekerjaan tersebut berharga karena ia memberikan bukti bahwa tidak ada kekacauan yang ada.

Jika Anda bekerja di bidang engineering, SRE, atau compliance, ingatlah aturan-aturan ini:

  • LULUS tidak berarti sistem Anda bersih. Itu berarti detektor Anda tidak menemukan apa pun di area yang diperiksanya.
  • Selalu laporkan cakupan (coverage) dan tingkat kepercayaan (confidence) bersama dengan hasil Anda.
  • Jika satu hal gagal berulang kali meskipun sudah dilakukan perbaikan lokal, curigai sistem yang menilainya.
  • Bug yang paling berbahaya adalah sistem pengukuran yang dengan percaya diri melaporkan tingkat kepastian yang salah.
  • Jangan salah mengartikan kurangnya insiden sebagai kurangnya risiko.

Apakah dasbor Anda berwarna hijau karena sistemnya bersih, atau karena tidak ada yang memeriksanya?

Sumber: https://dev.to/cpdforge/the-iso-42001-course-that-refused-to-pass-558f

Komunitas belajar opsional: https://t.me/GyaanSetuAi