실제로 작동하는 Microsoft Azure 기반 AI 거버넌스 프레임워크
감사인은 단 한 가지 질문을 던집니다: "이 정책이 런타임에 어디에서 강제 적용되는지 보여주세요."
대부분의 기업은 이 테스트를 통과하지 못합니다. 그들은 40페이지 분량의 문서와 리스크 레지스터를 제출합니다. 문서는 의도를 설명할 뿐입니다. 문서는 개발자가 승인되지 않은 모델을 사용하는 것을 막지 못합니다. 에이전트가 하위 에이전트를 생성하는 것을 막지도 못합니다.
정책 바인더와 실제 운영 시스템 사이의 간극이 바로 보안 침해가 발생하는 지점입니다.
이를 해결하려면 필수적인 AI 게이트웨이가 필요합니다. 이것이 여러분의 범용 제어 평면(control plane)입니다. 모든 모델 호출과 모든 에이전트 작업은 반드시 이를 거쳐야 합니다.
Microsoft Azure에서는 다음 세 가지 평면을 연결해야 합니다:
• Identity (Microsoft Entra): 게이트웨이는 호출자가 모델에 도달하기 전에 모든 호출자를 인증합니다. • Data (Microsoft Purview): 게이트웨이는 PII(개인정보) 마스킹을 적용하고 Purview가 놓칠 수 있는 이벤트를 기록합니다. • Model (Azure AI Foundry): 게이트웨이는 모델 허용 목록(allowlist)과 토큰 제한을 강제합니다.
필수 게이트웨이는 문서가 할 수 없는 세 가지 작업을 수행합니다:
- 섀도우 모델(shadow models) 차단: 게이트웨이를 통해서만 모델 액세스를 허용하면, 승인되지 않은 모델은 연결 자체가 실패합니다.
- 에이전트 확산(agent sprawl) 방지: 모든 에이전트 작업은 권한 부여를 위해 중앙 지점을 거쳐 라우팅되어야 합니다.
- 지속적인 증거 생성: 모든 호출은 감사 이벤트가 됩니다. 더 이상 검토를 위해 증거를 만들어낼 필요가 없습니다. 지속적으로 수집하면 됩니다.
거버넌스를 속도를 늦추는 세금으로 취급하지 마십시오. 아키텍처로 취급하십시오.
섀도우 모델을 탐지 문제로 취급하는 것을 멈추십시오. 그것은 라우팅 결정의 문제입니다. 네트워크가 게이트웨이를 통해서만 외부로 나가는 것(egress)을 허용한다면, 문제는 사라집니다.
프롬프트 인젝션을 단순한 보안 문제로만 취급하지 마십시오. 그것은 책임(accountability)의 문제입니다. 결과가 중대한 작업은 LLM 루프 외부에서 처리하십시오. 중요한 작업을 승인하기 위해 별도의 제한된 경로를 사용하십시오.
거버넌스를 세 단계로 구축하십시오:
- Discovery: 감사 모드(audit-mode) 정책을 사용하십시오. 아무것도 차단하지 않고 섀도우 모델과 계보(lineage) 단절을 찾아내십시오.
- Enforced Gates: 거부(deny) 정책을 활성화하십시오. 평가 게이트를 CI/CD 파이프라인에 연결하여 규정을 준수하지 않는 모델이 개발 단계에서 실패하도록 만드십시오.
- Continuous Evidence: 불변 로그(immutable logging)를 사용하십시오. 특정 시점의 승인을 실시간 데이터로 대체하십시오.
거버넌스는 폴더가 아니라 코드에 존재합니다.
Source: https://dev.to/az365ai/an-ai-governance-framework-on-microsoft-azure-that-actually-works-3773
Optional learning community: https://t.me/GyaanSetuAi