𝗔𝗜 𝗔𝗴𝗲𝗻𝘁𝘀 𝗛𝗮𝘃𝗲 𝗔 𝗥𝗲𝗹𝗶𝗮𝗯𝗶𝗹𝗶𝘁𝘆 𝗣𝗿𝗼𝗯𝗹𝗲𝗺
ШІ-агенти переходять від програмного забезпечення, яке лише реагує, до програмного забезпечення, яке діє. Вони викликають API, переказують гроші та оновлюють бази даних.
Але існує величезна прірва між інтелектом і надійністю.
Ми зосереджуємося на кращих моделях і кращому промптингу. Ми ігноруємо інфраструктуру. Ця невідповідність призводить до збоїв у реальному світі.
Уявіть, що агент обробляє повернення коштів. Він викликає платіжний API. API виконує запит успішно. Потім, до того як агент зафіксує успіх, стається збій сервера. Система повторює завдання. Агент знову викликає API. Клієнт отримує подвійне повернення коштів.
Ніхто не писав баг. Модель міркувала правильно. API працював. Збій стався тому, що інфраструктура є неповною.
Більшість агентів добре працюють у демо-версіях. Демо-версії запускаються в одному процесі. Вони виконують по одному завданню за раз. Вони не стикаються зі збоями чи паралелізмом. Продакшн — це інше.
Коли ви переводите агентів у продакшн, ламаються три речі:
• Безсмертя процесу (Process Imortality): Агенти припускають, що процес ніколи не завершується. Насправді хости виходять з ладу, а розгортання (deployments) відбуваються постійно. Коли процес завершується, стан у пам'яті зникає. • Чисті виклики інструментів (Pure Tool Calls): Розробники ставляться до викликів інструментів як до простого читання даних. Але агенти створюють побічні ефекти. Переказ грошей або надсилання електронних листів неможливо легко скасувати. • Виконання рівно один раз (Exactly-once Execution): Повторні спроби необхідні для надійності. Але повтор виконання циклу в пам'яті без надійного журналу (durable log) створює дубльовані дії.
Це не проблема промптингу. Це проблема розподілених систем. Щоб виправити це, нам потрібне надійне виконання (durable execution).
Надійним агентам потрібні ці п'ять стовпів:
- Event Sourcing: Зберігайте незмінний журнал кожної дії. Журнал є першоджерелом істини, а не стан у пам'яті.
- Replayable Execution: Використовуйте журнал для відновлення стану після збою. Відтворюйте завершені кроки замість того, щоб запускати їх заново.
- Durable Queues: Переносьте роботу з пам'яті до постійних сховищ.
- Idempotency Keys: Переконайтеся, що виконання дії двічі має той самий ефект, що й виконання один раз. Це запобігає подвійним платежам.
- Compensation Patterns: Визначте дії для скасування кроків, якщо багатоетапний робочий процес переривається на півдорозі.
Краща модель забезпечує кращі рішення. Але краща модель не може виправити збій. Надійність — це властивість виконання, а не властивість рішень.
Агенти, яким ви зможете довіряти діяти без нагляду людини, будуть не просто найрозумнішими. Вони будуть тими, що працюють на надійній інфраструктурі.
Інтелект вирішує, що робити. Інфраструктура гарантує, що це справді буде виконано правильно.
Джерело: https://dev.to/code_with_mwai/ai-agents-have-a-reliability-problem-nobody-is-talking-about-j40
Додаткова спільнота для навчання: https://t.me/GyaanSetuAi