وہ ISO 42001 کورس جو پاس ہونے سے انکار کر گیا

ہم نے ایک ISO 42001 Lead Auditor کورس چلایا۔ یہ ہمارے اندرونی کوالٹی چیکس میں بار بار ناکام ہو رہا تھا۔

مواد بے معنی نہیں تھا۔ یہ بہت باریک تھا۔ AI management کے لیے دیا گیا ایک اسائنمنٹ اچانک ماحولیاتی مینجمنٹ کے معیار (environmental management standards) کا حوالہ دینے لگتا تھا۔

ہم نے اسے ٹھیک کرنے کے لیے ہر ممکن کوشش کی۔ ہم نے generators کو دوبارہ چلایا۔ ہم نے prompts کو مزید سخت بنایا۔ ہم نے نئے قواعد شامل کیے۔ یہ ہر بار ناکام ہو گیا۔

ہمیں لگا کہ کورس میں خرابی ہے۔ ہم غلط تھے۔ پیمائش کا نظام (measurement system) خراب تھا۔

ہمیں احساس ہوا کہ ہمارے پاس مواد تیار کرنے کے 22 مختلف طریقے تھے۔ کچھ سخت قواعد کے تابع تھے۔ کچھ لاوارث (orphaned) تھے۔

ہمارے آڈیٹر نے صرف ان راستوں کو چیک کیا جو قواعد کے تابع تھے۔ خرابی ایک ایسے راستے میں تھی جس کی نگرانی نہیں کی جا رہی تھی۔

کورس ہمارے ٹیسٹ میں پاس ہو گیا کیونکہ ہمارے ٹیسٹ سسٹم کے صرف 40% حصے کو دیکھ رہے تھے۔ "PASS" کا مطلب صرف یہ تھا کہ ہم نے اس چھوٹے سے حصے میں کوئی خرابی نہیں پائی جس کا ہم نے معائنہ کیا تھا۔

یہ ایک خطرناک قسم کا 'گرین' ہے۔ یہ ایک ایسا سبز نشان (green checkmark) ہے جو حقیقت کو چھپاتا ہے۔

ہم نے یہ پوچھنا چھوڑ دیا کہ "یہ کیوں ناکام ہو رہا ہے؟" اور یہ پوچھنا شروع کر دیا کہ "باقی سب کچھ کیوں پاس ہو رہا ہے؟"

ہم نے پانچ مراحل میں سسٹم کو دوبارہ ترتیب دیا:

  • ہم نے تمام مواد کی تیاری کے لیے ایک واحد مستند ذریعہ (single source of truth) بنایا۔
  • ہم نے provenance شامل کی تاکہ مواد کے ہر ٹکڑے کا اصل ذریعہ اور ورژن ظاہر ہو سکے۔
  • ہم نے لاوارث راستوں کو سخت گورننس کے تحت لایا۔
  • ہم نے خودکار گیٹس (automated gates) بنائے تاکہ ایسے کسی بھی مواد کو روک سکیں جو اہم چیکس میں ناکام ہو جائے۔
  • ہم نے یہ ثابت کرنے کے لیے کہ ہمارا نیا سسٹم کام کر رہا ہے، پورے پورٹ فولیو کا مکمل آڈٹ کیا۔

نتیجہ؟ ہمارے آڈٹ میں پورے پورٹ فولیو میں کوئی بڑی خرابی نہیں پائی گئی۔

یہ کام اس لیے قیمتی نہیں تھا کہ اس نے کوئی گڑبڑ ڈھونڈ نکالی، بلکہ اس لیے قیمتی تھا کیونکہ اس نے یہ ثبوت فراہم کیا کہ کوئی گڑبڑ موجود ہی نہیں تھی۔

اگر آپ engineering، SRE، یا compliance میں کام کرتے ہیں، تو ان اصولوں کو یاد رکھیں:

  • PASS کا مطلب یہ نہیں کہ آپ کا سسٹم صاف ہے۔ اس کا مطلب یہ ہے کہ آپ کے ڈیٹیکٹر کو اس حصے میں کچھ نہیں ملا جس کا اس نے معائنہ کیا۔
  • اپنے نتائج کے ساتھ ہمیشہ coverage اور confidence کی رپورٹ بھی دیں۔
  • اگر کوئی چیز مقامی اصلاحات (local fixes) کے باوجود بار بار ناکام ہو رہی ہے، تو اس نظام پر شک کریں جو اس کا فیصلہ کرتا ہے۔
  • سب سے خطرناک بگ (bug) وہ پیمائش کا نظام ہے جو اعتماد کے ساتھ یقین کی غلط سطح رپورٹ کرتا ہے۔
  • حادثات (incidents) کی کمی کو خطرے (risk) کی کمی نہ سمجھیں۔

کیا آپ کا ڈیش بورڈ اس لیے سبز ہے کیونکہ سسٹم صاف ہے، یا اس لیے کہ کوئی چیز دیکھ ہی نہیں رہی؟

Source: https://dev.to/cpdforge/the-iso-42001-course-that-refused-to-pass-558f

Optional learning community: https://t.me/GyaanSetuAi