ШІ-агенти демонструють вражаюче відновлення, якщо надати їм явний дозвіл на повторне використання інструментів — автор виявив, що просте змінення формулювання підвищило рівень успішного виправлення з 0,16 до 1,00. Результат, названий «action-licensing» (ліцензування дій), показує, що підштовхування агента до перевірки своєї роботи може бути набагато ефективнішим, ніж просто повторне формулювання мети.
Чому це виправлення важливе
ШІ-асистенти, які можуть викликати зовнішні інструменти (бази даних, калькулятори, API), дедалі частіше використовуються в бізнес-процесах. Коли такі агенти помиляються, помилка часто непомітно поширюється, видаючи неправильні відповіді без явних сигналів про збій. Надійний спосіб втручання без переписування всього промпту може заощадити час розробникам і запобігти дороговартісним помилкам у робочих системах.
Як проявляються помилки
Автор помітив два поширені типи помилок із низькою видимістю:
Пропущений пошук (Skipped Lookup) — агент знає, що йому потрібно отримати певну інформацію (наприклад, ім'я менеджера за ID), але замість виклику інструмента пошуку просто вигадує відповідь. Зовні відповідь виглядає правдоподібною, проте фактична основа відсутня.
Підтверджений абсурд (Validated Nonsense) — агент передає інструменту некоректні або неправильні дані. Інструмент повертає результат без виникнення помилки, і агент сприймає цей результат як підтвердження, фактично схвалюючи власну помилку.
Обидва сценарії залишають користувача з впевненою, але неправильною відповіддю, і вони не викликають звичних ознак циклу або відсутності відповіді, на які зазвичай звертають увагу розробники.
Експеримент
Щоб виміряти, як різні промпти впливають на виправлення, автор провів контрольований тест із чіткими еталонними відповідями (без оцінювання на основі LLM). Порівнювали два підштовхування:
Підштовхування лише до мети (Goal-only nudge) — «Відповіддю має бути ім'я менеджера». Рівень відновлення: 0,16.
Підштовхування через ліцензування дій (Action-licensing nudge) — «Відповіддю має бути ім'я менеджера. Використовуй інструменти для перевірки». Рівень відновлення: 1,00 (усі невдалі спроби були виправлені).
Єдина різниця полягала в явному дозволі на повторне виконання інструмента. Другий промпт дав агенту зрозуміти, що він може повернутися назад, отримати відсутні дані та перезаписати свою попередню здогадку. Цей дозвіл перетворив переважно неефективне підштовхування на гарантоване виправлення для протестованих випадків.
Що означають ці цифри
Стрибок з 0,16 до 1,00 свідчить про те, що перешкодою для виправлення було не розуміння агентом мети, а його сприйнята свобода дій. Коли промпт каже моделі «ти можеш спробувати ще раз», вона сприймає ситуацію як нове підзавдання, а не як глухий кут, що дозволяє ланцюжку викликів інструментів перезапуститися.
Обмеження виправлень лише за допомогою промптів
Експеримент також виявив сценарії, де одні лише промпти не можуть врятувати агента:
Якщо інструмент на наступному етапі непомітно приймає некоректні вхідні дані та повертає значення, агент не отримує сигналу про те, що його дані були помилковими. Жодне перефразування не змусить його виявити недолік; сам інструмент має забезпечувати валідацію вхідних даних або видавати помилку.
Агенти, які взагалі мають труднощі із викликом інструментів, ніколи не отримають вигоди від інструкції «використовуй інструменти», оскільки базова здатність до цього відсутня. Тестування виправлення на таких моделях змішує оцінку промпту з базовою здатністю моделі викликати інструменти.
Практичні поради для розробників
Надавайте дозвіл — Коли ви втручаєтеся, чітко кажіть агенту, що він може повторити виклик інструмента або перерахувати дані. Просте повторення бажаного результату часто залишає агента в пастці його початкового помилкового шляху.
Захищайте інструменти — Впроваджуйте перевірку вхідних даних та чіткі повідомлення про помилки в інструменти, які використовує агент. Це запобігає появі «підтвердженого абсурду».
Виявляйте помилки на ранніх етапах — Чим швидше помічена помилка, тим легше промпту на повторне виконання спрацює. Моніторинг невідповідностей між очікуваним і фактичним використанням інструментів дозволяє активувати промпт виправлення в потрібний момент.
Перевіряйте можливості моделі — Перш ніж покладатися на виправлення за допомогою промптів, переконайтеся, що модель взагалі здатна надійно викликати інструменти. Інакше ви можете вимірювати ефективність промпту на хибному фундаменті.
Підсумок: Надання ШІ-агенту явного дозволу на переробку своєї роботи може перетворити невпевнене виправлення на повне відновлення. Розробникам промптів варто ставитися до фрази «використовуй інструменти для перевірки» як до запобіжного клапана, а не як до необов'язкового прикрашання тексту.