Найскладніша частина ШІ-агента — це негативні сценарії

Більшість демо-версій ШІ-агентів демонструють ідеальний сценарій. Чітке запитання призводить до охайної відповіді. Усі плескають у долоні.

Справжня інженерія починається тоді, коли щось ламається.

Що стається, коли API виходить з ладу? Що стається, коли агент зациклюється назавжди і спустошує вашу кредитну картку? Що стається, коли у агента немає даних, але він все одно пише звіт, який виглядає реальним?

Я створив BioAgent, щоб вирішити ці проблеми в геноміці. Це автономний аналітик, який збирає дані, шукає в PubMed і пише клінічні звіти.

Для його створення я використовував LangGraph та Claude. Ось чого я навчився, розробляючи системи з урахуванням можливих збоїв.

  • Обмежуйте кожен цикл Агент повинен мати жорсткий ліміт спроб (retry limit). Якщо ваш агент викликає платні API, цикл — це фінансовий ризик. Ліміт працює лише тоді, коли ви збільшуєте лічильник на кожному кроці. Якщо ви забудете про цей один рядок коду, агент буде циклічно повторювати дії, доки система не вийде з ладу.

  • Тестуйте помилки, а не успіх Позитивний сценарій (happy path) завжди працює під час розробки. Під час тестування ви повинні навмисно спричиняти збої у ваших залежностях. Пишіть тести, які перевіряють, чи коректно агент деградує, замість того, щоб зациклюватися, коли API недоступне.

  • Запобігайте впевненому абсурду Найбільша небезпека — це не збій. Небезпека — це звіт, який виглядає професійно, але містить фейкові дані. Не покладайтеся лише на інструкції в промптах, щоб зупинити галюцинації. Використовуйте тести, щоб гарантувати, що агент ніколи не вигадує метрики.

  • Обґрунтовуйте результати Пошук (retrieval) корисний лише тоді, коли текст потрапляє до автора. Я виявив, що передача лише ідентифікаторів (IDs) замість повних анотацій змушувала модель вигадувати релевантність. Ви повинні передавати моделі фактичний текст, щоб гарантувати, що звіт базується на фактах.

Правило в промпті — це надія. Правило в тесті — це гарантія.

Розробляйте з урахуванням негативних сценаріїв. Саме це насправді має значення.

Джерело: https://dev.to/gbadedata/the-hardest-part-of-an-autonomous-ai-agent-is-the-unhappy-path-3p2c

Додаткова спільнота для навчання: https://t.me/GyaanSetuAi