Das Modell erinnert sich nicht. Du schon.

Das Modell erinnert sich nicht. Du schon.

Large Language Models (LLMs) haben kein Gedächtnis.

Früher dachte ich, jede Chat-Sitzung würde ihren eigenen Kontext speichern. Ich habe mich geirrt. Wenn du mit einem LLM kommunizierst, erinnert es sich nicht an deine letzte Frage, es sei denn, du sendest sie erneut mit.

Das Modell ist zustandslos (stateless). Das bedeutet, jede Anfrage ist ein Neuanfang.

Um eine Konversation zu führen, musst du den Verlauf selbst verwalten. Das machst du, indem du bei jeder neuen Anfrage ein Array mit allen vorherigen Nachrichten sendest.

Das „Gedächtnis“ ist nur eine Liste von Nachrichten:

• User: Hallo.
• Assistant: Hallo!
• User: Wie geht es dir?

Wenn du die ersten beiden Zeilen nicht in deiner nächsten Anfrage inkludierst, wird das Modell nicht wissen, dass du bereits „Hallo“ gesagt hast.

Ich habe das gelernt, indem ich SDKs vermieden habe. Die meisten Entwickler nutzen Tools wie das Anthropic SDK, um diese Komplexität zu verbergen. Das SDK übernimmt die Nachrichtenhistorie und die Header für dich.

Wenn du lernen willst, wie LLMs funktionieren, verwende stattdessen ein raw fetch. Nutze keine Abstraktion. Wenn du den Request-Response-Zyklus manuell verwaltest, siehst du jede einzelne Entscheidung.

Diese manuelle Kontrolle ermöglicht es dir, später fortgeschrittene Strategien zu entwickeln, wie zum Beispiel:

• Sliding Windows zur Verwaltung langer Chats.
• Retrieval Augmented Generation (RAG).
• Semantische Suche.

Das Verständnis dieses Arrays ist das Fundament der KI-Entwicklung. Du bist derjenige, der den Kontext bereitstellt. Das Modell weiß nur das, was du ihm sendest.

Quelle: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-3mmk