Побудова циклу продукційного агента
Демонстраційного агента створити легко. Продукційного агента — важко.
У демо-версії цикл простий: спостерігати, вирішувати, діяти, перевіряти, повторювати. Модель бачить результат і переходить до наступного кроку.
У продакшені цей самий цикл потребує суворих правил. Продукційний агент — це не просто модель і набір інструментів. Це цикл, обгорнутий у структуру, щоб забезпечити його достовірність.
Найбільша пастка — це довіра до відповідей інструментів.
Уявіть, що агенту потрібно скасувати замовлення та оформити повернення коштів.
- Агент викликає
cancel_order. - Інструмент повертає
200 OK. - Агент негайно викликає
issue_refund.
У демо-версії це працює. У продакшені це катастрофа.
200 OK часто означає, що запит було прийнято, а не те, що завдання виконано. Скасування може все ще перебувати в черзі на обробку. Якщо агент оформить повернення коштів до підтвердження скасування, ви перекажете гроші, ґрунтуючись на припущенні.
Ви повинні дотримуватися одного правила: відповідь інструмента описує запит, а не обов'язково стан світу.
Щоб побудувати безпечний цикл для продакшену, вам потрібні такі компоненти:
• Tool Contracts: Кожен інструмент має визначати свої вхідні та вихідні дані, режими помилок та ключ ідемпотентності. • Verification Gates: Не просто перевіряйте, чи повернув інструмент код успіху. Перевіряйте фактичний стан світу, щоб підтвердити, що зміни відбулися. • Working State: Тримайте факти окремо від історії чату. Це запобігає галюцинаціям агента на основі тексту розмови. • Approval Gates: Використовуйте людей для підтвердження намірів у діях з високими ризиками. • Stop Rules: Встановлюйте ліміти на кількість кроків, вартість, час та періоди тиші, щоб запобігти неконтрольованим циклам.
Структура циклу не змінюється. Реалізація стає суворішою.
Для дій, що мають наслідки, ваш крок «перевірки» повинен мати дві частини:
- Verify: Чи справді світ змінився так, як очікувалося?
- Commit: Тепер, коли це підтверджено, чи безпечно переходити до наступного кроку?
Найбезпечніший агент — це той, що має чіткі межі. Надійність забезпечується встановленням чітких меж навколо моделі, а не наданням їй більшої свободи.
Джерело: https://dev.to/gursharansingh/ai-agents-in-practice-part-6-building-the-production-agent-loop-2lfi
Додаткова спільнота для навчання: https://t.me/GyaanSetuAi