O Modelo Não Lembra. Você Lembra.
Modelos de Linguagem de Grande Escala (LLMs) não possuem memória.
Eu costumava pensar que cada sessão de chat armazenava seu próprio contexto. Eu estava errado. Quando você fala com um LLM, ele não se lembra da sua última pergunta, a menos que você a envie de volta.
O modelo é stateless. Isso significa que cada requisição é um novo começo.
Para criar uma conversa, você deve gerenciar o histórico por conta própria. Você faz isso enviando um array de todas as mensagens anteriores com cada nova requisição.
A "memória" é apenas uma lista de mensagens:
- Usuário: Olá.
- Assistente: Olá!
- Usuário: Como você está?
Se você não incluir as duas primeiras linhas na sua próxima requisição, o modelo não saberá que você já disse olá.
Aprend