Модель ничего не помнит. Помните вы.
Раньше я думал, что у больших языковых моделей (LLM) есть память.
Я думал, что каждая сессия чата хранит свой собственный контекст. Я ошибался.
LLM не имеют состояния (stateless). Модель ничего не помнит от одного запроса к другому.
Когда вы видите историю чата, вы видите массив сообщений. Чтобы создать диалог, вы должны отправлять всю историю обратно модели с каждым новым промптом.
Если вы используете SDK, этот процесс остается скрытым. SDK берет на себя всю сложность.
Если вы используете «сырой» fetch, вы видите всё. Вы сами управляете заголовками, телом запроса и массивом сообщений.
Вот как работает контекст:
• Вы отправляете сообщение. • Модель отвечает. • Вы сохраняете оба сообщения в массив. • Вы отправляете весь массив обратно для следующего вопроса.
Модель знает только то, что вы отправляете в текущем запросе. Всё остальное исчезает.
Понимание этого массива — это основа разработки ИИ. Это отправная точка для таких продвинутых методов, как RAG, скользящие окна (sliding windows) и семантический поиск.
Если вы хотите создавать надежные ИИ-инструменты, перестаньте полагаться на абстракции. Изучайте «сырые» запросы. Управляйте историей самостоятельно.
Полный пост: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk