तो ISO 42001 कोर्स जो उत्तीर्ण होण्यास नकार देत होता

आम्ही एक ISO 42001 लीड ऑडिटर कोर्स चालवला. तो आमच्या अंतर्गत गुणवत्ता तपासणीत (quality checks) वारंवार अपयशी ठरत होता.

त्यातील साहित्य निरर्थक नव्हते. ते अतिशय सूक्ष्म होते. AI व्यवस्थापनासाठी दिलेले एखादे असाइनमेंट अचानक पर्यावरणाचे व्यवस्थापन मानकांचा (environmental management standards) संदर्भ देऊ लागતું.

आम्ही ते सुधारण्यासाठी सर्व काही करून पाहिले. आम्ही जनरेटर्स पुन्हा चालवले. आम्ही प्रॉम्प्ट्स (prompts) अधिक कडक केले. आम्ही नवीन नियम जोडले. पण प्रत्येक वेळी ते अपयशी ठरले.

आम्हाला वाटले की कोर्समध्ये काहीतरी दोष आहे. पण आम्ही चुकीचे होतो. दोष मोजण्याच्या प्रणालीमध्ये (measurement system) होता.

आम्हाला लक्षात आले की आमच्याकडे कंटेंट तयार करण्याचे २२ वेगवेगळे मार्ग होते. काही मार्ग कडक नियमांनी नियंत्रित होते, तर काही मार्ग विस्कळीत (orphaned) होते.

आमचा ऑडिटर फक्त नियंत्रित मार्गांचीच तपासणी करत होता. दोष अशा मार्गामध्ये होता ज्यावर लक्ष ठेवले जात नव्हते.

तो कोर्स आमच्या चाचण्यांमध्ये उत्तीर्ण झाला कारण आमच्या चाचण्या केवळ प्रणालीच्या ४०% भागाची तपासणी करत होत्या. "PASS" चा अर्थ केवळ इतका होता की आम्ही तपासलेल्या लहान भागात आम्हाला कोणताही दोष आढळला नाही.

हा प्रकारचा 'ग्रीन' (हिरवा रंग) धोकादायक आहे. हा असा हिरवा टिक मार्क आहे जो सत्य लपवून ठेवतो.

आम्ही "हे का अपयशी ठरत आहे?" असे विचारणे थांबवले आणि "इतर सर्व गोष्टी का उत्तीर्ण होत आहेत?" असे विचारण्यास सुरुवात केली.

आम्ही पाच टप्प्यांत प्रणालीची पुनर्रचना केली:

  • आम्ही सर्व कंटेंट जनरेशनसाठी एक 'सिंगल सोर्स ऑफ ट्रुथ' (single source of truth) तयार केला.
  • आम्ही 'प्रव्हिनन्स' (provenance) जोडले जेणेकरून कंटेंटच्या प्रत्येक भागाचा उगम आणि आवृत्ती (version) दिसून येईल.
  • आम्ही विस्कळीत (orphaned) मार्गांना कडक नियंत्रणाखाली आणले.
  • आम्ही महत्त्वाच्या चाचण्यांमध्ये अपयशी ठरणाऱ्या कोणत्याही कंटेंटला रोखण्यासाठी 'ऑटोमेटेड गेट्स' (automated gates) तयार केले.
  • आमची नवीन प्रणाली काम करत आहे हे सिद्ध करण्यासाठी आम्ही संपूर्ण पोर्टफोलिओ ऑडिट केले.

परिणाम? आमच्या ऑडिटमध्ये संपूर्ण पोर्टफोलिओमध्ये एकही मोठा दोष आढळला नाही.

हे काम केवळ गोंधळ शोधल्यामुळे मोलाचे ठरले नाही, तर गोंधळ अस्तित्वात नाही याचा पुरावा दिल्यामुळे ते मोलाचे ठरले.

जर तुम्ही इंजिनिअरिंग, SRE किंवा कंप्लायन्स (compliance) क्षेत्रात काम करत असाल, तर हे नियम लक्षात ठेवा:

  • "PASS" चा अर्थ तुमची प्रणाली स्वच्छ आहे असा होत नाही. त्याचा अर्थ असा आहे की तुमच्या डिटेक्टरला त्याने तपासलेल्या क्षेत्रात काहीही आढळले नाही.
  • तुमच्या निकालांसोबत नेहमी 'कव्हरेज' (coverage) आणि 'कॉन्फिडन्स' (confidence) देखील रिपोर्ट करा.
  • जर स्थानिक सुधारणा करूनही एखादी गोष्ट वारंवार अपयशी ठरत असेल, तर त्यावर निर्णय घेणाऱ्या प्रणालीवर संशय घ्या.
  • सर्वात धोकादायक बग म्हणजे अशी मोजमाप प्रणाली जी आत्मविश्वासाने चुकीची निश्चितता (certainty) दर्शवते.
  • घटनांचा अभाव म्हणजे जोखमीचा अभाव आहे, असा गैरसमज करू नका.

तुमचे डॅशबोर्ड हिरवे आहे कारण प्रणाली स्वच्छ आहे, की कारण कोणीही तपासत नाहीये?

Source: https://dev.to/cpdforge/the-iso-42001-course-that-refused-to-pass-558f

Optional learning community: https://t.me/GyaanSetuAi