에이전트 런타임 이벤트 모델
에이전트 프레임워크에 대한 논쟁은 이제 그만하십시오.
엔지니어들은 종종 LangChain를 사용할지, CrewAI를 사용할지, 아니면 직접 구축할지를 묻습니다. 하지만 이는 잘못된 질문입니다. 진짜 결정해야 할 것은 에이전트 런타임 내부의 어디에 정책(policy)을 적용할 것인가입니다.
프레임워크는 변합니다. 하지만 정책을 위한 아키텍처적 요구사항은 변하지 않습니다.
모든 프로덕션 에이전트 스택은 버그와 보안 유출을 방지하기 위해 네 가지 특정 런타임 이벤트가 필요합니다:
• UserPromptSubmit: 프롬프트가 모델에 도달하기 전 단계입니다. 비밀 정보(secrets)와 개인정보(PII)를 차단하는 데 사용합니다. • PreToolUse: 도구가 실행되기 전 단계입니다. 비용 예산과 도구 화이트리스트를 강제하는 데 사용합니다. • PostToolUse: 도구가 결과를 반환한 후 단계입니다. 개인정보(PII)나 인젝션 공격을 스캔하는 데 사용합니다. • Stop: 에이전트가 작업을 마친 후 단계입니다. 에이전트가 실제로 작업을 완료했는지 확인하는 데 사용합니다.
각 이벤트는 서로 다른 역할을 수행합니다.
프롬프트 제출은 빨라야 합니다. 사용자가 기다리지 않도록 밀리초(ms) 단위로 실행되어야 합니다. Stop 이벤트는 시간이 더 걸려도 괜찮습니다. 사용자가 결과를 보기 전에 에이전트가 실제로 제 역할을 했는지 확인하기 위해 1초 정도의 시간은 할애할 수 있습니다.
또한 훅(hook)이 실패할 때 어떻게 처리할지도 결정해야 합니다.
보안 훅이 충돌하면 'fail closed'(차단) 방식으로 처리해야 합니다. 비밀 정보를 유출하는 것보다 요청을 거부하는 것이 낫기 때문입니다. 품질 체크가 충돌한다면, 사용자가 여전히 응답을 받을 수 있도록 'fail open'(허용) 방식으로 처리할 수도 있습니다.
프레임워크는 범용적인 도구(commodity)일 뿐입니다. 여러분의 정책 커버리지가 곧 경쟁 우위(moat)입니다.
현재 스택에 대해 다음 세 가지 질문을 스스로에게 던져보십시오:
- 어떤 이벤트가 프롬프트 내 비밀 정보 유출을 막습니까?
- 어떤 이벤트가 작업을 완료했다고 거짓말하는 에이전트를 잡아냅니까?
- 어떤 이벤트가 모델이 읽기 전에 도구 출력값의 개인정보(PII)를 감사(audit)합니까?
이 질문들에 답할 수 없다면, 여러분의 에이전트는 프로덕션에 투입될 준비가 되지 않은 것입니다.
출처: https://dev.to/willianpinho/the-agent-runtime-event-model-55l9
선택 사항 학습 커뮤니티: https://t.me/GyaanSetuAi