O Modelo Não Se Lembra. Você Sim.
Eu costumava pensar que os Large Language Models (LLMs) tinham memória.
Eu achava que cada sessão de chat armazenava seu próprio contexto. Eu estava errado.
LLMs são stateless. O modelo não lembra de nada de uma requisição para a próxima.
Quando você vê um histórico de chat, você está olhando para um array de mensagens. Para criar uma conversa, você deve enviar todo o histórico de volta para o modelo com cada novo prompt.
Se você usar um SDK, esse processo permanece oculto. O SDK cuida da complexidade para você.
Se você usar o fetch puro, você vê tudo. Você mesmo gerencia os headers, o body e o array de mensagens.
É assim que o contexto funciona:
• Você envia uma mensagem. • O modelo responde. • Você salva ambas as mensagens em um array. • Você envia o array inteiro de volta para a próxima pergunta.
O modelo só sabe o que você envia na requisição atual. Todo o resto se perde.
Entender esse array é a base do desenvolvimento de IA. É o ponto de partida para métodos avançados como RAG, sliding windows e busca semântica.
Se você quer construir ferramentas de IA confiáveis, pare de depender de abstrações. Olhe para as requisições puras. Controle o histórico você mesmo.
Post completo: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk