Припиніть зваливати пам'ять агента в промпт

Більшість розробників будують цикли агентів, просто додаючи все підряд до наступного промпту.

Ви додаєте попередні спостереження, виклики інструментів та трасування міркувань. Ви продовжуєте додавати дані, доки промпт не перетворюється на смітник. Модель бачить більше, але ви втрачаєте контроль. Ви більше не знаєте, який саме фрагмент пам'яті спричинив конкретне рішення.

Нова наукова робота під назвою AgenticSTS пропонує інший шлях. Вона розглядає пам'ять як інтерфейс, а не як змагання за найбільше вікно контексту.

У роботі як тестове середовище використовується гра Slay the Spire 2. Це середовище вимагає сотень стратегічних рішень. Це не просто звичайний чат-бот.

Основна ідея полягає в наступному: пам'ять — це контракт про те, що саме дозволено бачити майбутньому рішенню.

Замість сирих транскриптів автори формують нові промпти, використовуючи п'ять конкретних рівнів:

  • Фіксовані інструкції протоколу
  • Поточний стан та схеми дій
  • Правила гри, отримані через пошук
  • Підсумки попередніх запусків
  • Тригерні стратегічні навички

Ця структура змінює все. Ви можете перевірити, заморозити або вимкнути кожен рівень. Ви перетворюєте пам'ять із купи даних на добірні докази.

Багато збоїв агентів у продакшені — це не помилки моделі. Це помилки контексту. Агент змішує старий стан із новим або переносить застарілі роздуми далі. Якщо ваша єдина стратегія — додавати більше тексту, налагодження перетворюється на археологію.

Типізований інтерфейс пам'яті дає вам щось для порівняння.

Для агентів, що працюють тривалий час, величезне вікно контексту — це пастка. Воно перетворюється на суміш фактів, застарілих фактів і невдалих спроб. Чим більше вікно, тим легше прийняти осад за пам'ять.

Щоб створювати кращих агентів, дотримуйтесь таких паттернів:

  • Відокремлюйте стабільні інструкції від поточного стану
  • Тримайте правила на рівні пошуку (retrieval layer)
  • Зберігайте досвід як явні записи, а не як залишки чату
  • Перетворюйте повторювані виправлення на тригерні навички
  • Зробіть кожен рівень пам'яті таким, що можна видалити для тестування

Якщо ви не можете вимкнути рівень пам'яті, ви не знаєте, чи справді він допомагає. Ви знаєте лише те, що вся ця купа іноді працює.

Припиніть ставитися до пам'яті агента як до рівня «вайбу». Рухайтеся до системи, де ви точно знаєте, що саме входить у наступне рішення, звідки воно взялося і як його вимкнути.

Якщо ваш агент не може пояснити, що йому дозволено пам'ятати, у нього немає пам'яті. У нього просто є промпт із підвалом.

Source: https://dev.to/komo/stop-dumping-agent-memory-into-the-prompt-58ka

Optional learning community: https://t.me/GyaanSetuAi