دورة ISO 42001 التي رفضت النجاح
أقمنا دورة للمدقق الرئيسي لـ ISO 42001. كانت تفشل باستمرار في اختبارات الجودة الداخلية لدينا.
لم تكن المادة مجرد هراء، بل كان الخلل دقيقاً. فقد تجد تكليفاً خاصاً بإدارة الذكاء الاصطناعي يشير فجأة إلى معايير الإدارة البيئية بدلاً من ذلك.
حاولنا كل شيء لإصلاح الأمر. أعدنا تشغيل المولدات، وشددنا الأوامر (prompts)، وأضفنا قواعد جديدة. لكنها كانت تفشل في كل مرة.
اعتقدنا أن الدورة معطلة، لكننا كنا مخطئين. نظام القياس هو الذي كان معطلاً.
أدركنا أن لدينا 22 طريقة مختلفة لإنشاء المحتوى. بعضها كان يخضع لقواعد صارمة، بينما كانت الطرق الأخرى "يتيمة" (غير خاضعة للرقابة).
كان مدققنا يفحص المسارات الخاضعة للرقابة فقط، بينما كان الخلل يكمن في مسار غير مراقب.
اجتازت الدورة اختباراتنا لأن اختباراتنا كانت تغطي 40% فقط من النظام. كلمة "ناجح" كانت تعني فقط أننا لم نجد عيوباً في المنطقة الصغيرة التي فحصناها.
هذا نوع خطير من "اللون الأخضر". إنه علامة صح خضراء تخفي الحقيقة.
توقفنا عن سؤال "لماذا يفشل هذا؟" وبدأنا نسأل "لماذا ينجح كل شيء آخر؟"
أعدنا بناء النظام في خمس مراحل:
- أنشأنا مصدراً واحداً للحقيقة لجميع عمليات إنشاء المحتوى.
- أضفنا خاصية إثبات المصدر (provenance) بحيث يظهر أصل كل قطعة محتوى وإصدارها.
- أخضعنا المسارات اليتيمة لحوكمة صارمة.
- بنينا بوابات آلية لمنع أي محتوى يفشل في الاختبارات الحرجة.
- أجرينا تدقيقاً شاملاً للمحفظة لإثبات فاعلية نظامنا الجديد.
النتيجة؟ لم يجد تدقيقنا أي عيوب رئيسية في كامل المحفظة.
لم تكن قيمة العمل في كونه وجد فوضى، بل في كونه قدم دليلاً على عدم وجود فوضى.
إذا كنت تعمل في الهندسة، أو SRE، أو الامتثال، فتذكر هذه القواعد:
- النجاح لا يعني أن نظامك نظيف، بل يعني أن أداة الكشف لم تجد شيئاً في المنطقة التي فحصتها.
- أبلغ دائماً عن نسبة التغطية ومستوى الثقة جنباً إلى جنب مع نتائجك.
- إذا فشل شيء ما بشكل متكرر رغم الإصلاحات الموضعية، فاشتبه في النظام الذي يحكم عليه.
- أخطر خطأ برمجي هو نظام القياس الذي يبلغ بثقة عن مستوى خاطئ من اليقين.
- لا تخلط بين غياب الحوادث وغياب المخاطر.
هل لوحة التحكم لديك خضراء لأن النظام نظيف، أم لأنه لا أحد يراقب؟
Source: https://dev.to/cpdforge/the-iso-42001-course-that-refused-to-pass-558f
Optional learning community: https://t.me/GyaanSetuAi