वह ISO 42001 कोर्स जो पास होने से इनकार कर रहा था

हमने एक ISO 42001 लीड ऑडिटर कोर्स चलाया। यह हमारे आंतरिक गुणवत्ता परीक्षणों में बार-बार विफल हो रहा था।

सामग्री बेतुकी नहीं थी। यह सूक्ष्म थी। AI प्रबंधन के लिए दिया गया एक असाइनमेंट अचानक इसके बजाय पर्यावरण प्रबंधन मानकों का संदर्भ देने लगता था।

हमने इसे ठीक करने के लिए सब कुछ आज़माया। हमने जनरेटरों को फिर से चलाया। हमने प्रॉम्प्ट्स को और सटीक बनाया। हमने नए नियम जोड़े। यह हर बार विफल हो गया।

हमें लगा कि कोर्स में खराबी है। हम गलत थे। माप प्रणाली (measurement system) में खराबी थी।

हमें एहसास हुआ कि हमारे पास कंटेंट जेनरेट करने के 22 अलग-अलग तरीके थे। कुछ सख्त नियमों द्वारा नियंत्रित थे। अन्य अनाथ (orphaned) थे।

हमारे ऑडिटर ने केवल नियंत्रित रास्तों की जाँच की। दोष एक अनियंत्रित रास्ते में छिपा था।

कोर्स हमारे परीक्षणों में पास हो गया क्योंकि हमारे परीक्षण केवल सिस्टम के 40% हिस्से को देख रहे थे। "PASS" का मतलब केवल यह था कि हमने उस छोटे से क्षेत्र में कोई दोष नहीं पाया जिसकी हमने जाँच की थी।

यह एक खतरनाक तरह का 'हरा' (green) है। यह एक ऐसा हरा टिक मार्क है जो सच्चाई को छुपाता है।

हमने "यह विफल क्यों हो रहा है?" पूछना बंद कर दिया और "बाकी सब कुछ पास क्यों हो रहा है?" पूछना शुरू कर दिया।

हमने पांच चरणों में सिस्टम को फिर से बनाया:

  • हमने सभी कंटेंट जनरेशन के लिए एक 'single source of truth' बनाया।
  • हमने प्रोवेनेंस (provenance) जोड़ा ताकि कंटेंट के हर हिस्से में उसका मूल और वर्ज़न दिखाई दे।
  • हमने अनाथ रास्तों को सख्त शासन (governance) के तहत लाया।
  • हमने महत्वपूर्ण जाँचों में विफल होने वाले किसी भी कंटेंट को रोकने के लिए ऑटोमेटेड गेट्स बनाए।
  • हमने यह साबित करने के लिए कि हमारा नया सिस्टम काम कर रहा है, पूरे पोर्टफोलियो का ऑडिट किया।

परिणाम? हमारे ऑडिट में पूरे पोर्टफोलियो में शून्य बड़ी खामियां पाई गईं।

यह काम इसलिए मूल्यवान नहीं था क्योंकि इसने गड़बड़ी ढूँढ ली थी। यह इसलिए मूल्यवान था क्योंकि इसने प्रमाण दिया कि कोई गड़बड़ी मौजूद नहीं थी।

यदि आप इंजीनियरिंग, SRE, या अनुपालन (compliance) में काम करते हैं, तो इन नियमों को याद रखें:

  • "PASS" का मतलब यह नहीं है कि आपका सिस्टम साफ है। इसका मतलब है कि आपके डिटेक्टर को उस क्षेत्र में कुछ नहीं मिला जिसकी उसने जाँच की थी।
  • अपने परिणामों के साथ हमेशा कवरेज और कॉन्फिडेंस (confidence) की रिपोर्ट दें।
  • यदि स्थानीय सुधारों के बावजूद कोई चीज़ बार-बार विफल होती है, तो उस प्रणाली पर संदेह करें जो उसका निर्णय करती है।
  • सबसे खतरनाक बग एक ऐसी माप प्रणाली है जो आत्मविश्वास के साथ निश्चितता का गलत स्तर बताती है।
  • घटनाओं की कमी को जोखिम की कमी समझने की गलती न करें।

क्या आपका डैशबोर्ड हरा है क्योंकि सिस्टम साफ है, या इसलिए क्योंकि कोई देख नहीं रहा है?

Source: https://dev.to/cpdforge/the-iso-42001-course-that-refused-to-pass-558f

Optional learning community: https://t.me/GyaanSetuAi