План відкату AI-агента: скасовуйте помилкові дії, поки користувачі не втратили довіру
Надійному AI-агенту не обов'язково бути ідеальним. Йому потрібно вміти зупинятися, пояснювати свої помилки та відновлюватися.
Якщо ваш агент оновить неправильне поле в CRM або надішле дубльований платіж, звичайне повторення спроби (retry) не виправить завданих збитків. Вам потрібен план відкату ще до того, як ви зіткнетеся з реальним інцидентом.
Оскільки агенти переходять від простого чату до реальної роботи, вони починають змінювати стан (mutate state). Це перетворює відкат на функцію продукту, а не просто на завдання бекенду.
Типові сценарії збоїв:
- Агент використовує неправильний ID запису.
- Повторна спроба призводить до дублювання дії.
- Зміна моделі змінює принцип роботи інструменту.
- Робочий процес відновлюється зі застарілою пам'яттю.
- Часткове виконання послідовності залишає дані в неузгодженому стані.
Як побудувати рівень відновлення:
Використовуйте журнал дій (Action Ledger) Не покладайтеся лише на логи. Створіть журнал, який фіксує кожну зміну стану. Кожен виклик інструменту має створювати запис до та після виконання. Це буде ваше єдине джерело істини (source of truth) для відновлення.
Класифікуйте свої дії Не всі дії однакові.
- Тільки для читання: відкат не потрібен.
- Внутрішні оновлення: відновіть попереднє значення зі знімка (snapshot).
- Зовнішні, що підлягають скасуванню: видаліть подію або оновіть статус.
- Зовнішні, що не підлягають скасуванню: використовуйте компенсацію замість справжнього відкату. Ви не можете «скасувати відправку» електронного листа або платежу. Ви повинні надіслати виправлення або здійснити повернення коштів.
Забезпечте ідемпотентність Модель не забезпечує ідемпотентність. Це має робити ваше середовище виконання інструментів (tool runtime). Використовуйте ключі ідемпотентності, щоб гарантувати, що якщо агент повторює завдання, це не призведе до дублювання побічних ефектів.
Використовуйте патерн Saga Для тривалих робочих процесів кожна пряма дія потребує компенсаційної дії.
- Створити завдання? Компенсація — видалити або скасувати його.
- Оновити поле? Компенсація — відновити старе значення.
- Надіслати лист? Компенсація — надіслати виправлення.
Впровадьте контрольні точки (checkpoints) Припиніть просити модель «зрозуміти, на чому ми зупинилися» після збою. Використовуйте контрольні точки для збереження поточного стану, виконаних дій та незавершених завдань. Система має завантажувати контрольну точку для відновлення роботи.
Створіть чергу відновлення Якщо крок перевірки не вдається, перемістіть завдання в чергу відновлення. Це дозволить вам відновити, компенсувати або закрити завдання. У разі помилок з високим рівнем ризику завжди запитуйте схвалення у людини.
Довіра будується завдяки прозорому процесу відновлення. Коли агент припускається помилки, не використовуйте розпливчасті формулювання. Скажіть користувачеві точно, що саме змінилося, чому це сталося і як ви це виправили.
Створіть план відкату до того, як станеться перший інцидент.
Optional learning community: https://t.me/GyaanSetuAi