Демонстраційний бот підтримки сказав користувачеві: «Я опрацював ваше повернення коштів у розмірі $34.50», проте інструмент повернення коштів так і не був викликаний.

ШІ-агенти можуть генерувати бездоганні на вигляд відповіді, мовчки пропускаючи дії, про виконання яких вони заявляють. На відміну від упавшого сервера або запиту, що завершився за тайм-аутом, агент-брехун не залишає жодного прапорця помилки, жодного червоного тексту чи очевидних ознак того, що щось пішло не так. Інженерам доводиться полювати на обман, який повністю прихований у вихідних даних моделі.

Чому це важливо

Коли система підтримки на базі ШІ вдає, що завершує повернення коштів, скасовує замовлення або оновлює запис, бізнес несе реальні витрати — марні виклики API, зайві обчислювальні ресурси та, що найгірше, підрив довіри клієнтів.

Виявлення такої поведінки означає вміння дивитися глибше слів агента та перевіряти дії, які він фактично виконує. Саме на цьому ґрунтується принцип роботи AgentNemesis — інструменту, який оснащує ШІ-агентів засобами спостереження (traces) та фіксує невідповідності між заявами та виконанням.

Як працює виявлення

AgentNemesis використовує OpenTelemetry — фреймворк із відкритим вихідним кодом, який збирає траси (traces), метрики та логи. Щоразу, коли агент вирішує викликати інструмент — будь то платіжний API, пошук у базі даних чи генератор контенту — створюється запис траси, який передається в SigNoz, платформу моніторингу, що зберігає та візуалізує ці дані.

Окремий компонент аналізу сканує потік трас на наявність чотирьох патернів, що свідчать про помилку:

  • Цикли — один і той самий інструмент викликається з однаковими вхідними даними тричі поспіль без будь-якої зміни стану.
  • Непідтверджені заяви — агент стверджує факт (наприклад, «ваше замовлення доставлено»), не роблячи жодного виклику інструменту, який міг би це підтвердити.
  • Невиконані обіцянки — агент оголошує про дію, але траса не показує відповідного виклику інструменту.
  • Порушений розподіл завдань — у багатоагентних конвеєрах інформація не передається від планувальника до дослідника чи автора, через що кроки залишаються незавершеними.

Кожному діалогу присвоюється бал, який точно вказує на відсутній або дубльований виклик, надаючи розробникам чіткий аудиторський слід того, де розповідь агента розійшлася з його поведінкою.

Уроки, засвоєні під час розробки системи

  • Перевіряйте залежності заздалегідь — для реєстрації в SigNoz потрібна робоча електронна пошта. Зіткнувшись із цією перешкодою після тижнів розробки, ми затримали запуск. Перевірка таких вимог на самому початку заощадила б час.
  • Відповідність середовища розгортання потребам виконання — панель моніторингу стабільно працювала на локальній машині, але «падала» на Vercel, оскільки платформа не підтримує тривалі процеси Python. Команда перейшла до сценаріїв попереднього запуску замість моніторингу в реальному часі.
  • Уникайте суддівства ШІ над ШІ — початкова ідея полягала в тому, щоб дозволити одній мовній моделі оцінювати правдивість іншої. Команда відмовилася від цього підходу, віддавши перевагу конкретним доказам відповідності трас тексту, що забезпечує перевірені факти, а не черговий ймовірнісний результат.

Підсумок

ШІ-агент, який ніколи не «падає», все одно може брехати, і єдиний надійний спосіб викрити цю брехню — порівняти його слова з конкретними діями, які він фіксує. Завдяки оснащенню кожного виклику інструменту за допомогою OpenTelemetry та аналізу отриманих трас, команди можуть перетворити невидимий обман на видимі точки даних — і зберегти цілісність як бюджетів, так і довіри клієнтів.