Het model onthoudt niets. Jij wel.
Large Language Models (LLM's) hebben geen geheugen.
Ik dacht vroeger dat elke chatsessie zijn eigen context opsloeg. Ik zat ernaast. Wanneer je met een LLM praat, onthoudt hij je vorige vraag niet, tenzij je die opnieuw meestuurt.
Het model is stateless. Dit betekent dat elke aanvraag een frisse start is.
Om een gesprek te voeren, moet je de geschiedenis zelf beheren. Dit doe je door bij elke nieuwe aanvraag een array met alle eerdere berichten mee te sturen.
Het "geheugen" is simpelweg een lijst met berichten:
- Gebruiker: Hallo.
- Assistent: Hoi!
- Gebruiker: Hoe gaat het?
Als je de eerste twee regels niet opneemt in je volgende aanvraag, weet het model niet dat je al hallo hebt gezegd.
Ik heb dit geleerd door SDK's te vermijden. De meeste ontwikkelaars gebruiken tools zoals de Anthropic SDK om deze complexiteit te verbergen. De SDK regelt de berichtgeschiedenis en de headers voor je.
Als je wilt leren hoe LLM's werken, gebruik dan in plaats daarvan raw fetch. Gebruik geen abstractie. Wanneer je de request- en responsecyclus handmatig beheert, zie je elke beslissing.
Deze handmatige controle stelt je in staat om later geavanceerde strategieën te bouwen, zoals:
- Sliding windows om lange chats te beheren.
- Retrieval Augmented Generation (RAG).
- Semantische zoekopdrachten.
Het begrijpen van deze array is de basis van AI-ontwikkeling. Jij bent degene die de context biedt. Het model weet alleen wat jij verstuurt.
Bron: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-3mmk