Нещодавній бенчмарк показує, що двошарова архітектура пам'яті — scratchpad на базі RAM плюс локальне сховище SQLite-vec — забезпечує медіанний час запиту менше 100 мс, водночас усуваючи рахунок у $135 на місяць, пов'язаний із популярним хмарним векторним сховищем. Розробники автономних ШІ-агентів можуть використовувати суто локальну (on-premise) конфігурацію, яка, згідно з бенчмарком, працювала швидше і не потребувала щомісячних витрат.
Чому існуючі підходи до пам'яті є недостатніми
ШІ-агентам часто потрібно згадувати тисячі минулих взаємодій, фактів або результатів викликів інструментів у межах обмеженого вікна відповіді. Більшість команд завантажують кожен ембедінг у керовану векторну базу даних і покладаються на віддалений векторний пошук для кожного запиту. Така модель масштабується, але вона змушує кожен запит проходити через мережу, що збільшує час виконання (round-trip time) та щомісячні витрати. У бенчмарку медіанна затримка хмарного сервісу становила 127 мс, а рахунок за місяць перевищував $135; під час тестування також було зафіксовано збій у роботі.
Розподіл пам'яті на два рівні
Дворівнева архітектура відокремлює «робочу пам'ять» від «довгострокового сховища»:
L1 Scratchpad (RAM)
- Повністю перебуває в пам'яті процесу.
- Зберігає контекст поточного завдання та останні виклики інструментів.
- Зберігає сирі рядки; ембедінги не генеруються.
- Повертає результати менш ніж за 3 мс, що порівнянно з кешем CPU.
L2 Vault (SQLite-vec)
- Зберігає всі інші ембедінги в локальній базі даних SQLite, розширеній можливостями векторного пошуку.
- Обробляє повний набір із 14 726 записів пам'яті, використаних у бенчмарку.
- Повертає відповідності приблизно за 94 мс, що значно нижче цільового показника у 100 мс для багатьох агентів реального часу.
- Не потребує жодних витрат, окрім пам'яті хост-машини.
SQLite-vec — це розширення з відкритим вихідним кодом, яке додає пошук наближених найближчих сусідів (approximate nearest-neighbor search) до стандартного реляційного файлу. Оскільки база даних знаходиться на тій самій машині, що й агент, мережевих затримок немає, а рушій повторно використовує існуючі методи індексації SQLite для швидкого пошуку.
Цифри, які мають значення
| Система | Медіанна затримка | Щомісячна вартість | Зафіксована надійність |
|---|---|---|---|
| Хмарне векторне сховище (Pinecone) | 127 мс | ~$135 | Спостерігалися збої |
| Локальне сховище SQLite-vec | 94 мс | $0 | 100 % uptime |
Різниця у вартості становить $0 проти приблизно $135 на місяць.
Підтримання порядку у сховищі
Неструктурований дамп усіх ембедінгів може знизити релевантність. Автор бенчмарку запровадив систему згасання (decay system), яка оцінює записи пам'яті за новизною та частотою використання:
- Нові або часто використовувані елементи отримують вищий коефіцієнт (вагу).
- Елементи, до яких давно не зверталися, поступово втрачають вагу.
- Зважене згасання зменшує «шум пошуку» (нерелевантні відповідності) на 34 %.
Шляхом видалення записів із низьким балом або їхнього зниження в індексі, агент уникає застарілих даних, зберігаючи сховище достатньо компактним для стабільної продуктивності.
Висновок
Для ШІ-агентів, яким потрібно оперувати тисячами спогадів у стислі терміни, використання scratchpad з пріоритетом RAM у поєднанні з локальним сховищем SQLite-vec пропонує прагматичну альтернативу повністю хмарним векторним сховищам. Такий підхід скорочує час відповіді, усуває регулярні хмарні платежі та забезпечує безперебійну роботу, зберігаючи при цьому можливість видалення нерелевантних даних. Отже, впровадження дворівневої моделі може зробити агентів швидшими, дешевшими та надійнішими.