ఉత్తీర్ణత సాధించని ISO 42001 కోర్సు
మేము ఒక ISO 42001 లీడ్ ఆడిటర్ కోర్సును నిర్వహించాము. అది మా అంతర్గత నాణ్యత తనిఖీలలో (quality checks) పదేపదే విఫలమవుతూనే ఉంది.
ఆ మెటీరియల్ అర్థరహితమైనది కాదు. అది చాలా సూక్ష్మంగా ఉండేది. AI మేనేజ్మెంట్ కోసం ఇచ్చిన ఒక అసైన్మెంట్, అకస్మాత్తుగా ఎన్విరాన్మెంటల్ మేనేజ్మెంట్ ప్రమాణాలను (environmental management standards) ప్రస్తావిస్తూ ఉండేది.
దానిని సరిదిద్దడానికి మేము అన్ని ప్రయత్నాలు చేశాము. మేము జనరేటర్లను మళ్ళీ రన్ చేశాము. ప్రాంప్ట్లను (prompts) మరింత కచ్చితంగా మార్చాము. కొత్త నియమాలను జోడించాము. కానీ ప్రతిసారీ అది విఫలమైంది.
కోర్సులో ఏదో లోపం ఉందని మేము అనుకున్నాము. కానీ మేము తప్పుగా అనుకున్నాము. అసలు లోపం కొలమాన వ్యవస్థలో (measurement system) ఉంది.
కంటెంట్ను రూపొందించడానికి మా వద్ద 22 రకాల మార్గాలు ఉన్నాయని మేము గ్రహించాము. కొన్ని కఠినమైన నియమాలతో నడిచేవి. మరికొన్ని నియంత్రణ లేనివి (orphaned).
మా ఆడిటర్ కేవలం నియంత్రిత మార్గాలను (governed paths) మాత్రమే తనిఖీ చేశారు. లోపం పర్యవేక్షణ లేని మార్గంలో (unmonitored path) ఉంది.
మా పరీక్షలు వ్యవస్థలోని కేవలం 40% భాగాన్ని మాత్రమే చూశాయి, అందుకే కోర్సు పరీక్షల్లో ఉత్తీర్ణత సాధించింది. "PASS" అంటే మేము తనిఖీ చేసిన చిన్న ప్రాంతంలో ఎటువంటి లోపాలు కనిపించలేదని మాత్రమే అర్థం.
ఇది ప్రమాదకరమైన రకమైన 'గ్రీన్'. ఇది నిజాన్ని దాచే ఒక గ్రీన్ చెక్మార్క్.
మేము "ఇది ఎందుకు విఫలమవుతోంది?" అని అడగడం మానేసి, "మిగిలినవన్నీ ఎందుకు ఉత్తీర్ణత సాధిస్తున్నాయి?" అని అడగడం ప్రారంభించాము.
మేము వ్యవస్థను ఐదు దశల్లో పునర్నిర్మించాము:
- కంటెంట్ జనరేషన్ కోసం మేము ఒకే ఒక ప్రామాణిక మూలాన్ని (single source of truth) సృష్టించాము.
- ప్రతి కంటెంట్ దాని మూలం మరియు వెర్షన్ను చూపేలా మేము ప్రావెనెన్స్ (provenance)ను జోడించాము.
- నియంత్రణ లేని మార్గాలను (orphaned paths) కఠినమైన పాలనలోకి తీసుకువచ్చాము.
- కీలకమైన తనిఖీలలో విఫలమయ్యే ఏ కంటెంట్నైనా అడ్డుకోవడానికి మేము ఆటోమేటెడ్ గేట్లను (automated gates) నిర్మించాము.
- మా కొత్త వ్యవస్థ పనిచేస్తుందని నిరూపించడానికి మేము పూర్తి పోర్ట్ఫోలియో ఆడిట్ను నిర్వహించాము.
ఫలితం? మా ఆడిట్లో మొత్తం పోర్ట్ఫోలియో అంతటా ఒక్క ప్రధాన లోపం కూడా కనిపించలేదు.
ఆ పని వల్ల విలువ లభించింది అంటే లోపాలను కనుగొన్నందున కాదు; అసలు ఎటువంటి లోపాలు లేవని నిరూపించే ఆధారాలను అందించినందున లభించింది.
మీరు ఇంజనీరింగ్, SRE లేదా కంప్లయన్స్ (compliance) రంగాలలో పనిచేస్తుంటే, ఈ నియమాలను గుర్తుంచుకోండి:
- "PASS" అంటే మీ వ్యవస్థ శుభ్రంగా ఉందని కాదు. మీ డిటెక్టర్ తనిఖీ చేసిన ప్రాంతంలో ఏమీ కనిపించలేదని అర్థం.
- మీ ఫలితాలతో పాటు ఎల్లప్పుడూ కవరేజ్ (coverage) మరియు కాన్ఫిడెన్స్ (confidence)ను కూడా నివేదించండి.
- స్థానిక పరిష్కారాలు చేసినప్పటికీ ఏదైనా ఒక విషయం పదేపదే విఫలమవుతుంటే, దానిని అంచనా వేసే వ్యవస్థను అనుమానించండి.
- తప్పుడు నిర్ధారణను అత్యంత నమ్మకంతో నివేదించే కొలమాన వ్యవస్థే అత్యంత ప్రమాదకరమైన బగ్.
- సంఘటనలు (incidents) లేవని రిస్క్ లేదని పొరపడకండి.
మీ డ్యాష్బోర్డ్ గ్రీన్ (green)గా ఉండటానికి కారణం వ్యవస్థ శుభ్రంగా ఉండటమా, లేక ఏదీ తనిఖీ చేయకపోవడమా?
Source: https://dev.to/cpdforge/the-iso-42001-course-that-refused-to-pass-558f
Optional learning community: https://t.me/GyaanSetuAi