Модель нічого не пам'ятає. Пам'ятаєте ви.
Раніше я думав, що великі мовні моделі (LLM) мають пам'ять.
Я вважав, що кожен чат-сеанс зберігає власний контекст. Я помилявся.
LLM є безстанними (stateless). Модель нічого не пам'ятає від одного запиту до іншого.
Коли ви бачите історію чату, ви насправді бачите масив повідомлень. Щоб створити розмову, ви повинні надсилати всю історію назад моделі з кожним новим промптом.
Якщо ви використовуєте SDK, цей процес залишається прихованим. SDK бере на себе всю складність.
Якщо ви використовуєте raw fetch, ви бачите все. Ви самостійно керуєте заголовками, тілом запиту та масивом повідомлень.
Ось як працює контекст:
• Ви надсилаєте повідомлення. • Модель відповідає. • Ви зберігаєте обидва повідомлення в масиві. • Ви надсилаєте весь масив назад для наступного запитання.
Модель знає лише те, що ви надсилаєте в поточному запиті. Все інше зникає.
Розуміння цього масиву є основою розробки ШІ. Це відправна точка для таких просунутих методів, як RAG, ковзні вікна (sliding windows) та семантичний пошук.
Якщо ви хочете створювати надійні інструменти ШІ, припиніть покладатися на абстракції. Дивіться на сирі (raw) запити. Керуйте історією самостійно.
Повний пост: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk