Самое сложное в ИИ-агентах — не выполнение, а планирование
Создать ИИ-агента, который выполняет задачи, легко. Создать того, кто правильно их планирует, — сложно.
Я разработал CLI, где вы вводите предложение, а LLM выполняет действия в ваших реальных аккаунтах. Я использую два режима: Direct mode и Plan mode.
Direct mode предназначен для скорости. Plan mode — для безопасности. В режиме Plan mode агент показывает вам каждый шаг, прежде чем прикоснуться к вашим данным.
Вот как я создал надежный механизм планирования:
• Разделите «мозг» Один агент не может одновременно и планировать, и исполнять. Агенту-планировщику нужно думать. Агенту-исполнителю нужно действовать. Я разделил их на двух разных агентов с разными системными промптами. Это предотвращает их «конфликт» друг с другом.
• Дайте агенту «глаза» Планировщик, который гадает, опасен. Моя первая версия строила планы на основе предположений. Теперь планировщик сначала использует инструменты только для чтения, чтобы изучить ваши данные. Он проверяет реальные поля в Salesforce, прежде чем прописать хотя бы один шаг.
• Предзаполняйте ответы Агенты часто задают плохие вопросы. Если их слишком много, в итоге вы сами делаете работу за них. Я изменил этот подход. Планировщик по-прежнему задает вопросы, но предлагает рекомендуемый ответ. Вам остается только подтвердить его или подправить. Это позволяет сохранять точность плана без ручного ввода данных.
• Передавайте контекст, а не только список Если дать исполнителю только список шагов, он теряет логику процесса. Я сделал так, чтобы планировщик передавал предположения и риски вместе с шагами. Теперь исполнитель понимает «зачем» совершается каждое действие.
• Маркируйте опасность План безопасен только тогда, когда вы видите риски. Моя система помечает деструктивные действия, такие как удаление или переименование. Когда агент доходит до опасного шага, он останавливается и спрашивает вас.
• Используйте данные как решающий фактор Если агент считает, что шаг не удался, а вы приказываете ему повторить попытку, он не просто слепо подчиняется. Он проверяет фактические данные платформы. Если данные показывают, что задача уже выполнена, агент доверяет данным, а не вашему утверждению.
Правда о безопасности: Plan mode не защищает от prompt injection или пользователя, который нажимает «одобрить», не глядя. Он переносит ответственность с «доверия модели» на «доверие к внимательности человека».
Структура создает ограничители, но окончательную безопасность обеспечивает ваша проверка.
Optional learning community: https://t.me/GyaanSetuAi