O Modelo de Eventos do Runtime do Agente
Pare de discutir sobre frameworks de agentes.
Engenheiros frequentemente perguntam se devem usar LangChain, CrewAI ou construir o seu próprio. Esta é a pergunta errada. A verdadeira decisão é onde você anexa a política dentro do seu runtime de agente.
Frameworks mudam. A necessidade arquitetural de política permanece a mesma.
Toda stack de agentes em produção precisa de quatro eventos de runtime específicos para evitar bugs e vazamentos de segurança:
• UserPromptSubmit: Antes que o prompt chegue ao modelo. Use isso para bloquear segredos e PII. • PreToolUse: Antes de uma ferramenta ser executada. Use isso para aplicar orçamentos de custo e whitelists de ferramentas. • PostToolUse: Após o retorno de uma ferramenta. Use isso para escanear PII ou ataques de injeção. • Stop: Após o agente terminar. Use isso para verificar se o agente realmente concluiu a tarefa.
Cada evento tem um trabalho diferente.
O envio do prompt deve ser rápido. Ele precisa ser executado em milissegundos para que o usuário não espere. O evento Stop pode demorar mais. Você pode se dar ao luxo de um segundo inteiro para verificar se o agente realmente fez o seu trabalho antes que o usuário veja o resultado.
Você também deve decidir como seus hooks falham.
Se um hook de segurança falhar, você deve adotar o "fail closed". É melhor negar uma solicitação do que vazar um segredo. Se uma verificação de qualidade falhar, você pode adotar o "fail open" para que o usuário ainda receba uma resposta.
Frameworks são uma commodity. Sua cobertura de políticas é o seu diferencial (moat).
Faça a si mesmo estas três perguntas sobre sua stack atual:
- Qual evento impede vazamentos de segredos nos prompts?
- Qual evento detecta um agente mentindo sobre a conclusão de uma tarefa?
- Qual evento audita as saídas das ferramentas em busca de PII antes que o modelo as leia?
Se você não consegue responder a estas perguntas, seu agente não está pronto para produção.
Fonte: https://dev.to/willianpinho/the-agent-runtime-event-model-55l9
Comunidade de aprendizado opcional: https://t.me/GyaanSetuAi