Das Modell erinnert sich nicht. Du schon.
Früher dachte ich, Large Language Models (LLMs) hätten ein Gedächtnis.
Ich dachte, jede Chat-Sitzung würde ihren eigenen Kontext speichern. Ich habe mich geirrt.
LLMs sind zustandslos (stateless). Das Modell erinnert sich von einem Request zum nächsten an nichts.
Wenn du einen Chatverlauf siehst, betrachtest du ein Array von Nachrichten. Um eine Konversation zu führen, musst du den gesamten Verlauf mit jedem neuen Prompt wieder an das Modell zurücksenden.
Wenn du ein SDK verwendest, bleibt dieser Prozess verborgen. Das SDK übernimmt die Komplexität für dich.
Wenn du raw fetch verwendest, siehst du alles. Du verwaltest die Header, den Body und das Nachrichten-Array selbst.
So funktioniert Kontext:
• Du sendest eine Nachricht. • Das Modell antwortet. • Du speicherst beide Nachrichten in einem Array. • Du sendest das gesamte Array für die nächste Frage zurück.
Das Modell weiß nur das, was du im aktuellen Request sendest. Alles andere ist weg.
Das Verständnis dieses Arrays ist das Fundament der KI-Entwicklung. Es ist der Ausgangspunkt für fortgeschrittene Methoden wie RAG, sliding windows und semantic search.
Wenn du zuverlässige KI-Tools bauen willst, hör auf, dich auf Abstraktionen zu verlassen. Schau dir die raw requests an. Kontrolliere den Verlauf selbst.
Vollständiger Post: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk