Ваша пам'ять агента, ймовірно, вам бреше
Я думав, що пам'ять мого агента працювала протягом шести місяців.
Вона пам'ятала деталі між сесіями. Вона витягувала контекст для проєктів. Вона виправляла помилки. Кожен знак вказував на успіх.
Я помилявся.
Claude Code має власну вбудовану пам'ять. Саме ця система виконувала всю роботу. Моя система працювала і записувала дані у власне сховище. Вона виглядала зайнятою. Це був дублер на сцені, де репліки вимовляв інший актор.
Систему, яка явно помиляється, легко виправити. Ви бачите помилку і дієте.
Система, яка тихо помиляється, є небезпечною. Вона видає корисні відповіді. Вона виглядає як успіх. Ви не можете зрозуміти, чи працює ваша система, дивлячись на результат. Результат той самий.
Вам потрібна примусова функція, щоб дізнатися правду. Ви повинні вимкнути іншу систему.
Цей тест підходить для будь-якої конфігурації пам'яті агента. Він займає одну хвилину.
Дотримуйтесь цих кроків:
• Вимкніть нативну пам'ять вашого runtime. • У Claude Code використайте цю команду: CLAUDE_CODE_DISABLE_AUTO_MEMORY=1 • Використовуйте свого агента як зазвичай. • Попросіть його запам'ятати конкретний факт. • Почніть нову сесію та запитайте цей факт.
Подивіться, що ваша система робитиме самостійно.
Якщо пам'ять працює, ваша система надійна.
Якщо пам'ять очиститься, це означає, що вас тягнуло нативне сховище. Кожна ваша демонстрація була лише тінню, а не вашою системою.
Коли я провів цей тест, моя система замовкла. Шість місяців успіху насправді були шістьма місяцями того, що щось інше прикривало мої помилки.
Якщо ви додаєте пам'ять до runtime, який уже має пам'ять, ви стикаєтеся з цим ризиком. Оскільки моделі стають розумнішими, вони краще приховують ці прогалини. Відшліфована демонстрація не доводить, що ваша система працює. Вона може лише доводити, що модель достатньо хороша, щоб приховати вашу невдачу.
Не довіряйте хорошим відповідям. Проведіть тест на вимкнення. Вимкніть іншу річ і дізнайтеся, хто насправді говорить.
Мені знадобилося шість місяців, щоб вивчити це. Вам знадобиться одна хвилина.
Optional learning community: https://t.me/GyaanSetuAi