통과를 거부한 ISO 42001 과정
우리는 ISO 42001 선임 심사원(Lead Auditor) 과정을 운영했습니다. 그런데 이 과정이 내부 품질 검사를 계속 통과하지 못했습니다.
자료가 터무니없는 것은 아니었습니다. 아주 미묘한 문제였습니다. AI 관리 과제가 갑자기 환경 관리 표준을 참조하는 식이었죠.
해결하기 위해 모든 방법을 동원했습니다. 생성기를 다시 돌리고, 프롬프트를 강화하고, 새로운 규칙을 추가했습니다. 하지만 매번 실패했습니다.
우리는 과정에 문제가 있다고 생각했습니다. 하지만 틀렸습니다. 문제가 있었던 것은 측정 시스템이었습니다.
알고 보니 콘텐츠를 생성하는 방식이 22가지나 되었습니다. 어떤 방식은 엄격한 규칙의 통제를 받고 있었지만, 어떤 방식은 관리 사각지대에 놓여 있었습니다.
우리의 심사원은 통제된 경로만 확인했습니다. 결함은 모니터링되지 않는 경로에 숨어 있었습니다.
테스트가 통과되었던 이유는 테스트가 시스템의 40%만 살펴봤기 때문입니다. "PASS"는 우리가 검사한 좁은 영역에서 결함을 발견하지 못했다는 의미일 뿐이었습니다.
이것은 위험한 종류의 '그린(green)'입니다. 진실을 가리는 초록색 체크표시입니다.
우리는 "왜 이것이 실패하는가?"라고 묻는 대신 "왜 다른 모든 것들은 통과하는가?"라고 묻기 시작했습니다.
우리는 다섯 단계에 걸쳐 시스템을 재구축했습니다:
- 모든 콘텐츠 생성을 위한 단일 진실 공급원(single source of truth)을 구축했습니다.
- 모든 콘텐츠가 출처와 버전을 표시할 수 있도록 출처(provenance) 정보를 추가했습니다.
- 관리 사각지대에 있던 경로들을 엄격한 거버넌스 체계 아래로 가져왔습니다.
- 핵심 검사를 통과하지 못한 콘텐츠를 차단하기 위해 자동화된 게이트를 구축했습니다.
- 새로운 시스템이 작동함을 증명하기 위해 전체 포트폴리오에 대한 전수 감사를 실시했습니다.
결과는 어땠을까요? 전체 포트폴리오에서 중대한 결함이 단 하나도 발견되지 않았습니다.
이 작업이 가치 있었던 이유는 엉망인 상태를 찾아냈기 때문이 아니라, 아무런 문제가 없다는 증거를 제공했기 때문입니다.
엔지니어링, SRE 또는 컴플라이언스 분야에서 일하신다면 다음 규칙을 기억하십시오:
- "PASS"가 시스템이 깨끗하다는 것을 의미하지는 않습니다. 그것은 탐지기가 검사한 영역에서 아무것도 발견하지 못했다는 뜻입니다.
- 결과와 함께 항상 커버리지(coverage)와 신뢰도(confidence)를 보고하십시오.
- 국소적인 수정에도 불구하고 특정 항목이 반복적으로 실패한다면, 그것을 판단하는 시스템을 의심하십시오.
- 가장 위험한 버그는 잘못된 확신 수준을 자신 있게 보고하는 측정 시스템입니다.
- 장애(incident)가 없다고 해서 리스크가 없는 것으로 착각하지 마십시오.
당신의 대시보드가 초록색인 이유는 시스템이 깨끗해서입니까, 아니면 아무것도 보고 있지 않기 때문입니까?
Source: https://dev.to/cpdforge/the-iso-42001-course-that-refused-to-pass-558f
Optional learning community: https://t.me/GyaanSetuAi