El modelo no recuerda. Tú sí.
Los LLM no tienen memoria.
Solía pensar que cada chat almacenaba su propio contexto. Pensaba que el modelo recordaba nuestras palabras anteriores automáticamente. Estaba equivocado.
La Messages API es sin estado. El modelo solo conoce lo que envías en la solicitud actual. Si quieres una conversación, debes enviar todo el historial de vuelta al modelo cada vez.
Tu memoria es solo un array de mensajes.
Cuando construyes un chat, gestionas este array. Se ve así:
• User: Hola, Claude • Assistant: ¡Hola! ¿Cómo puedo ayudarte? • User: ¿Puedes describir los LLM?
Cada vez que haces una nueva pregunta, añades el nuevo mensaje a esa lista y envías la lista completa a la API.
Aprendí esto evitando los SDK. La mayoría de los desarrolladores utilizan herramientas como el Anthropic SDK. Estas herramientas ocultan la complejidad. Gestionan los reintentos y los encabezados por ti.
En su lugar, elegí usar fetch puro. Esto me obligó a gestionar los encabezados y el cuerpo de la solicitud manualmente. Eliminó la abstracción. Vi exactamente cómo se mueven los datos.
Este concepto es la base de todo lo demás. Si quieres construir sistemas avanzados, debes entender este array. Estrategias como RAG o las ventanas deslizantes (sliding windows) comienzan con la forma en que gestionas esta lista de mensajes.
Una vez que domines el historial, puedes pasar al uso de herramientas (tool use). Esto permite que el modelo ejecute tareas y elija las funciones adecuadas para ejecutar.
Controla tu contexto. Controla tu modelo.
Fuente: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-3mmk
Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi