دورهی ISO 42001 که از عبور از آزمون خودداری میکرد
ما یک دورهی ممیزی ارشد ISO 42001 برگزار کردیم. این دوره مدام در کنترلهای کیفیت داخلی ما مردود میشد.
مطالب بیمعنی نبودند؛ بلکه مشکل ظریف بود. مثلاً یک تکلیف مربوط به مدیریت هوش مصنوعی، ناگهان به جای آن، به استانداردهای مدیریت محیطزیست ارجاع میداد.
ما برای اصلاح آن هر کاری کردیم. مولدها را دوباره اجرا کردیم. پرامپتها را دقیقتر کردیم. قوانین جدیدی اضافه کردیم. اما هر بار شکست میخورد.
فکر میکردیم دوره خراب است. اما اشتباه میکردیم. سیستم اندازهگیری خراب بود.
متوجه شدیم که ۲۲ روش مختلف برای تولید محتوا داریم. برخی تحت قوانین سختگیرانه بودند و برخی دیگر رها شده بودند.
ممیز ما فقط مسیرهای تحت مدیریت را بررسی میکرد. نقص در مسیری بود که تحت نظارت نبود.
دوره از تستهای ما عبور میکرد، چون تستهای ما فقط ۴۰ درصد سیستم را بررسی میکردند. یک «قبولی» (PASS) فقط به این معنا بود که ما در آن ناحیه کوچکِ بازرسیشده، نقصی پیدا نکردیم.
این نوع خطرناکی از «سبز بودن» است. این یک تیک سبز است که حقیقت را پنهان میکند.
ما پرسیدنِ «چرا این شکست میخورد؟» را متوقف کردیم و شروع کردیم به پرسیدنِ «چرا بقیه موارد پاس میشوند؟»
ما سیستم را در پنج مرحله بازسازی کردیم:
- یک منبع واحد حقیقت (single source of truth) برای تمام تولیدات محتوا ایجاد کردیم.
- قابلیت ردیابی منشأ (provenance) را اضافه کردیم تا هر قطعه محتوا، منشأ و نسخهی خود را نشان دهد.
- مسیرهای رها شده را تحت مدیریت سختگیرانه قرار دادیم.
- دروازههای خودکار (automated gates) ساختیم تا هر محتوایی که در بررسیهای حیاتی شکست میخورد را مسدود کنند.
- یک ممیزی کامل از تمام سبد محصولات (portfolio) انجام دادیم تا ثابت کنیم سیستم جدیدمان کار میکند.
نتیجه؟ ممیزی ما هیچ نقص عمدهای در کل سبد محصولات پیدا نکرد.
ارزش این کار به خاطر پیدا کردن یک آشفتگی نبود؛ بلکه به این دلیل ارزشمند بود که ثابت کرد هیچ آشفتگیای وجود ندارد.
اگر در زمینههای مهندسی، SRE یا انطباق (compliance) کار میکنید، این قوانین را به خاطر بسپارید:
- یک «قبولی» به معنای تمیز بودن سیستم شما نیست؛ بلکه به این معناست که آشکارساز شما در ناحیهای که بررسی کرده، چیزی پیدا نکرده است.
- همیشه پوشش (coverage) و میزان اطمینان (confidence) را در کنار نتایج خود گزارش دهید.
- اگر چیزی با وجود اصلاحات موضعی، مکرراً شکست میخورد، به سیستمی که آن را قضاوت میکند شک کنید.
- خطرناکترین باگ، سیستم اندازهگیریای است که با اطمینان، سطح اشتباهی از قطعیت را گزارش میدهد.
- نبودِ حادثه را با نبودِ ریسک اشتباه نگیرید.
آیا داشبورد شما سبز است چون سیستم تمیز است، یا چون هیچچیز در حال بررسی نیست؟
Source: https://dev.to/cpdforge/the-iso-42001-course-that-refused-to-pass-558f
Optional learning community: https://t.me/GyaanSetuAi