Модель событий среды выполнения агента

Хватит спорить о фреймворках для агентов.

Инженеры часто спрашивают, стоит ли использовать LangChain, CrewAI или разрабатывать собственный фреймворк. Это неверный вопрос. Настоящее решение заключается в том, где именно вы внедряете политики внутри среды выполнения (runtime) вашего агента.

Фреймворки меняются. Архитектурная потребность в политиках остается неизменной.

Каждому продакшн-стеку агентов необходимы четыре специфических события среды выполнения для предотвращения багов и утечек безопасности:

• UserPromptSubmit: Перед тем как промпт попадет в модель. Используйте это для блокировки секретов и PII. • PreToolUse: Перед вызовом инструмента. Используйте это для контроля бюджета и работы с белыми списками инструментов. • PostToolUse: После возврата данных инструментом. Используйте это для сканирования на наличие PII или инъекционных атак. • Stop: После завершения работы агента. Используйте это для проверки того, действительно ли агент выполнил задачу.

У каждого события своя задача.

Отправка промпта должна быть быстрой. Она должна выполняться за миллисекунды, чтобы пользователь не ждал. Событие Stop может занимать больше времени. Вы можете позволить себе целую секунду на проверку того, действительно ли агент выполнил свою работу, прежде чем пользователь увидит результат.

Вы также должны решить, как будут обрабатываться ошибки ваших хуков.

Если происходит сбой хука безопасности, следует использовать стратегию fail closed (запрет по умолчанию). Лучше отклонить запрос, чем допустить утечку секрета. Если же происходит сбой проверки качества, можно использовать стратегию fail open, чтобы пользователь все же получил ответ.

Фреймворки — это товар массового потребления. Ваше покрытие политиками — это ваш «ров».

Задайте себе три вопроса о вашем текущем стеке:

  1. Какое событие предотвращает утечку секретов в промптах?
  2. Какое событие ловит агента на лжи о завершении задачи?
  3. Какое событие проверяет выходные данные инструментов на наличие PII перед тем, как их прочитает модель?

Если вы не можете ответить на них, ваш агент не готов к продакшну.

Source: https://dev.to/willianpinho/the-agent-runtime-event-model-55l9

Optional learning community: https://t.me/GyaanSetuAi