에이전틱 AI 거버넌스 프레임워크
정적인 PDF 정책으로는 동적인 AI 에이전트를 관리할 수 없습니다. 모든 에이전트 작업에 대해 수동 승인이 필요하다면 속도를 잃게 될 것입니다.
규모를 확장하려면 Human-in-the-Loop (HITL)에서 Human-on-the-Loop (HOTL)로 전환해야 합니다. HITL에서 인간은 병목 현상의 원인이 됩니다. 반면 HOTL에서 인간은 가드레일을 구축하고 시스템을 모니터링하는 설계자 역할을 수행합니다.
자율성 스펙트럼
조달 에이전트와 DevOps 에이전트를 동일하게 취급해서는 안 됩니다. 의사 결정 권한에 따라 에이전트를 분류하십시오.
• 자문형 (낮은 자율성): 에이전트가 작업을 제안하고, 인간이 이를 실행합니다. • 반자율형 (중간 자율성): 에이전트가 안전 영역 내에서 활동합니다. 한계에 부딪혔을 때만 도움을 요청합니다. • 완전 자율형 (높은 자율성): 에이전트가 샌드박스 내에서 시작부터 끝까지 목표를 관리합니다.
예시: 고객 지원 에이전트는 최대 50달러까지 환불을 처리할 수 있습니다. 요청 금액이 51달러라면 에이전트는 작업을 중단하고 인간에게 요청해야 합니다. 이는 권한 드리프트(authority drift)를 방지합니다.
보안을 위해 프롬프트에만 의존하는 것을 중단하십시오
시스템 프롬프트는 규칙이 아닌 제안 사항입니다. 이는 확률적입니다. 운영 환경에서 제안은 곧 취약점입니다. 추론(reasoning)과 집행(enforcement)을 분리해야 합니다.
계층적 방어 체계를 사용하십시오:
- 프롬프트 계층: 의도와 가이드라인을 제공합니다.
- 가드레일 계층: 엄격한 규칙에 따라 작업을 검증하는 결정론적(deterministic) 미들웨어입니다.
- API 계층: 리소스 수준에서 ID 및 액세스 관리를 강제합니다.
이 설정은 프롬프트 인젝션을 방지합니다. 가드레일이 미들웨어 수준에 있다면, 프롬프트 내의 속임수는 통하지 않습니다.
관측 가능성과 킬 스위치
표준 로그만으로는 충분하지 않습니다. Chain-of-Thought (CoT)를 기록해야 합니다. 에이전트가 왜 해당 작업이 올바르다고 판단했는지 반드시 알아야 합니다.
멀티 에이전트 워크플로우에서 연쇄적인 장애를 방지하려면 킬 스위치 프로토콜(Kill Switch Protocol)을 구현해야 합니다. 이 프로토콜은 다음을 수행해야 합니다:
- 모든 활성 토큰을 취소합니다.
- 모든 실행 스레드를 종료합니다.
- 감사를 위해 상태를 동결합니다.
- 마지막 5단계의 추론 과정과 함께 엔지니어에게 알림을 보냅니다.
동적 권한 부여
에이전트는 상시 권한(standing privileges)을 가져서는 안 됩니다. Just-in-Time (JIT) 액세스를 사용하십시오. 에이전트는 특정 API를 호출해야 할 때만 수명이 짧은 토큰을 요청합니다. 이를 통해 에이전트의 신원이 인간이 승인한 의도와 연결된 상태를 유지하도록 보장합니다.
플랫폼 엔지니어를 위한 핵심 요약:
- 거버넌스를 프롬프트에서 미들웨어로 이동합니다.
- 보안 취약점을 방지하기 위해 JIT 액세스를 구현합니다.
- 입력과 출력뿐만 아니라 추론 단계도 기록합니다.
- 재귀 루프 실패를 방지하기 위해 엄격한 토큰 제한을 적용합니다.
출처: https://dev.to/omnithium/the-agentic-ai-governance-framework-balancing-autonomy-and-control-2occ
학습 커뮤니티(선택 사항): https://t.me/GyaanSetuAi