คอร์ส ISO 42001 ที่ไม่ยอมผ่านการตรวจสอบ

เราจัดคอร์ส ISO 42001 Lead Auditor แต่คอร์สนี้กลับไม่ผ่านการตรวจสอบคุณภาพภายในของเราซ้ำแล้วซ้ำเล่า

เนื้อหาไม่ใช่เรื่องไร้สาระ แต่มันเป็นความผิดพลาดที่แนบเนียน เช่น โจทย์การจัดการ AI กลับไปอ้างอิงถึงมาตรฐานการจัดการสิ่งแวดล้อมแทนเสียอย่างนั้น

เราพยายามทุกวิถีทางเพื่อแก้ไข ทั้งรันตัวสร้างเนื้อหา (generators) ใหม่ ปรับปรุง prompt ให้รัดกุมขึ้น และเพิ่มกฎใหม่ๆ แต่ก็ยังล้มเหลวทุกครั้ง

เราคิดว่าคอร์สนี้มีปัญหา แต่เราคิดผิด ระบบการวัดผลต่างหากที่พัง

เราพบว่าเรามีวิธีการสร้างเนื้อหาที่แตกต่างกันถึง 22 วิธี บางวิธีถูกควบคุมด้วยกฎที่เข้มงวด แต่บางวิธีกลับถูกปล่อยทิ้งไว้โดยไม่มีการดูแล

ผู้ตรวจสอบของเราตรวจเช็กเฉพาะเส้นทางที่มีการควบคุม แต่จุดบกพร่องกลับอยู่ในเส้นทางที่ไม่มีการเฝ้าระวัง

คอร์สนี้ผ่านการทดสอบของเราเพราะการทดสอบนั้นครอบคลุมเพียง 40% ของระบบเท่านั้น คำว่า "PASS" จึงหมายถึงเราไม่พบข้อบกพร่องในพื้นที่เล็กๆ ที่เราตรวจสอบเท่านั้นเอง

นี่คือ "สีเขียว" ที่อันตราย มันคือเครื่องหมายถูกสีเขียวที่ปกปิดความจริงเอาไว้

เราเลิกถามว่า "ทำไมสิ่งนี้ถึงล้มเหลว?" และเริ่มถามว่า "ทำไมอย่างอื่นถึงผ่านหมด?"

เราสร้างระบบขึ้นมาใหม่โดยแบ่งเป็น 5 ระยะ:

  • เราสร้างแหล่งข้อมูลความจริงหนึ่งเดียว (single source of truth) สำหรับการสร้างเนื้อหาทั้งหมด
  • เราเพิ่มการระบุที่มา (provenance) เพื่อให้เนื้อหาทุกชิ้นแสดงต้นกำเนิดและเวอร์ชันของมัน
  • เรานำเส้นทางที่เคยถูกปล่อยทิ้งไว้มาอยู่ภายใต้การกำกับดูแลที่เข้มงวด
  • เราสร้างระบบตรวจสอบอัตโนมัติ (automated gates) เพื่อสกัดกั้นเนื้อหาใดๆ ที่ไม่ผ่านการตรวจสอบที่สำคัญ
  • เราทำการตรวจสอบพอร์ตโฟลิโอทั้งหมด (full portfolio audit) เพื่อพิสูจน์ว่าระบบใหม่ของเราใช้งานได้จริง

ผลลัพธ์น่ะหรือ? การตรวจสอบของเราไม่พบข้อบกพร่องร้ายแรงเลยแม้แต่จุดเดียวในพอร์ตโฟลิโอทั้งหมด

งานนี้มีคุณค่าไม่ใช่เพราะมันตรวจเจอความเละเทะ แต่มีคุณค่าเพราะมันให้หลักฐานยืนยันว่าไม่มีความเละเทะเกิดขึ้น

หากคุณทำงานด้านวิศวกรรม (engineering), SRE หรือการปฏิบัติตามกฎระเบียบ (compliance) จงจำกฎเหล่านี้ไว้:

  • การ "PASS" ไม่ได้หมายความว่าระบบของคุณสะอาด แต่มันหมายความว่าเครื่องมือตรวจจับของคุณไม่พบอะไรเลยในพื้นที่ที่มันตรวจสอบ
  • รายงานค่าความครอบคลุม (coverage) และความเชื่อมั่น (confidence) ควบคู่ไปกับผลลัพธ์ของคุณเสมอ
  • หากสิ่งใดสิ่งหนึ่งล้มเหลวซ้ำๆ แม้จะพยายามแก้ไขเฉพาะจุดแล้ว ให้สงสัยระบบที่ใช้ตัดสินสิ่งนั้น
  • บั๊กที่อันตรายที่สุดคือระบบการวัดผลที่รายงานระดับความแน่นอนผิดพลาดอย่างมั่นใจ
  • อย่าเข้าใจผิดว่าการไม่มีอุบัติการณ์ (incidents) หมายถึงการไม่มีความเสี่ยง

แดชบอร์ดของคุณเป็นสีเขียวเพราะระบบสะอาดจริง หรือเป็นเพราะไม่มีใครกำลังตรวจสอบกันแน่?

Source: https://dev.to/cpdforge/the-iso-42001-course-that-refused-to-pass-558f

Optional learning community: https://t.me/GyaanSetuAi