El modelo no recuerda. Tú sí.
Solía pensar que los modelos de lenguaje de gran tamaño (LLMs) tenían memoria.
Pensaba que cada sesión de chat almacenaba su propio contexto. Estaba equivocado.
Los LLMs no tienen estado (stateless). El modelo no recuerda nada de una solicitud a la siguiente.
Cuando ves un historial de chat, lo que estás viendo es un array de mensajes. Para crear una conversación, debes enviar todo el historial de vuelta al modelo con cada nuevo prompt.
Si usas un SDK, este proceso permanece oculto. El SDK gestiona la complejidad por ti.
Si usas fetch puro (raw fetch), lo ves todo. Tú mismo gestionas los encabezados, el cuerpo y el array de mensajes.
Así es como funciona el contexto:
• Envías un mensaje. • El modelo responde. • Guardas ambos mensajes en un array. • Envías todo el array de vuelta para la siguiente pregunta.
El modelo solo sabe lo que envías en la solicitud actual. Todo lo demás se ha perdido.
Comprender este array es la base del desarrollo de IA. Es el punto de partida para métodos avanzados como RAG, ventanas deslizantes (sliding windows) y búsqueda semántica.
Si quieres construir herramientas de IA fiables, deja de depender de las abstracciones. Observa las solicitudes puras. Controla el historial tú mismo.
Post completo: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk