Het model onthoudt niets. Jij wel.
Ik dacht vroeger dat Large Language Models (LLM's) een geheugen hadden.
Ik dacht dat elke chatsessie zijn eigen context opsloeg. Ik zat ernaast.
LLM's zijn stateless. Het model onthoudt niets van de ene aanvraag naar de volgende.
Wanneer je een chatgeschiedenis ziet, kijk je naar een array van berichten. Om een gesprek te voeren, moet je bij elke nieuwe prompt de volledige geschiedenis terugsturen naar het model.
Als je een SDK gebruikt, blijft dit proces verborgen. De SDK regelt de complexiteit voor je.
Als je raw fetch gebruikt, zie je alles. Je beheert zelf de headers, de body en de array met berichten.
Dit is hoe context werkt:
• Je stuurt een bericht. • Het model reageert. • Je slaat beide berichten op in een array. • Je stuurt de volledige array terug voor de volgende vraag.
Het model weet alleen wat je in de huidige aanvraag stuurt. De rest is weg.
Het begrijpen van deze array is de basis van AI-ontwikkeling. Het is het startpunt voor geavanceerde methoden zoals RAG, sliding windows en semantic search.
Als je betrouwbare AI-tools wilt bouwen, stop dan met het vertrouwen op abstracties. Kijk naar de ruwe aanvragen. Beheer de geschiedenis zelf.
Volledig bericht: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk