Блокування — це не збій: агентам потрібен зворотний зв'язок щодо меж

Більшість налаштувань агентів сприймають заблоковану дію як збій інструменту.

Агент викликає інструмент. Запит порушує правило. Система повертає загальну помилку. Виклик інструменту завершується невдачею.

Спочатку це здається нормальним. Небезпечну дію було зупинено. Але це вирішує лише половину проблеми.

Загальна помилка не допомагає агенту працювати в межах його можливостей. Вона перетворює рішення, засноване на політиці, на шум. Агент може намагатися вгадати виправлення. Він може повторити ту саму помилку або спробувати інше корисне навантаження. Це створює цикл марних повторних спроб.

Заблокована дія має бути структурованим рішенням, а не неочікуваним збоєм.

Коли запит блокується, зовнішня система не повинна змінюватися. Проте відповідь має підказати агенту, як діяти безпечно.

Замість простої помилки використовуйте структуровану відповідь.

Уявіть, що агент намагається записати дані у файл, який змінився, поки агент планував дію. Загальна помилка каже «не вдалося». Структурована відповідь каже:

  • Статус рішення: конфлікт
  • Статус результату: без наслідків
  • Причина: застарілий стан
  • Наступна дія: повторно прочитати цільовий стан

Тепер агент знає, що ціль не є недосяжною. Йому лише потрібно оновити інформацію. Він припиняє вгадувати та робить правильний наступний крок.

Це працює для багатьох сценаріїв:

  • Якщо шлях виходить за межі компетенції, запропонуйте дозволений шлях.
  • Якщо ефект уже існує, запропонуйте повторно використати результат.
  • Якщо вплив занадто великий, запропонуйте дочекатися перевірки людиною.

Це не робить межу «м'якою». Дія залишається заблокованою. Система залишається безпечною. Ви просто перетворюєте глухий кут на керований шлях.

Ви повинні збалансувати це з безпекою. Точний зворотний зв'язок може допомогти «поганому» агенту прощупати ваші межі.

Використовуйте чіткі коди причин для операційних труднощів, таких як застарілі дані або некоректні вхідні дані. Якщо агент демонструє підозрілу поведінку або ігнорує підказки, перейдіть до загальних відмов або перевірки людиною.

Розділяйте зворотний зв'язок для агента та оцінки аудиту. Агенту потрібно знати, як дотримуватися правил. Системі потрібно знати, чи поводиться агент неналежним чином. Не змішуйте ці дві задачі.

Межі існують тому, що агенти стають достатньо корисними, щоб діяти в реальних системах. Реальна робота має правила та обмеження.

Межа, яка лише повертає помилку, — це стіна. Межа, яка надає вказівки, — це інструмент.

«Blocked» має означати:

  • Очікуваний результат не було досягнуто.
  • Причина відома.
  • Наступна безпечна дія зрозуміла.

Джерело: https://dev.to/davidloibner/blocked-is-not-failed-agents-need-boundary-feedback-bbg

Додаткова спільнота для навчання: https://t.me/GyaanSetuAi