Le modèle ne se souvient pas. Vous, si.
Je pensais que les grands modèles de langage (LLM) avaient une mémoire.
Je pensais que chaque session de chat stockait son propre contexte. Je me trompais.
Les LLM sont stateless. Le modèle ne se souvient de rien d'une requête à l'autre.
Lorsque vous voyez un historique de chat, vous regardez un tableau de messages. Pour créer une conversation, vous devez renvoyer l'intégralité de l'historique au modèle avec chaque nouveau prompt.
Si vous utilisez un SDK, ce processus reste caché. Le SDK gère la complexité pour vous.
Si vous utilisez un fetch brut, vous voyez tout. Vous gérez vous-même les en-têtes, le corps et le tableau de messages.
Voici comment fonctionne le contexte :
• Vous envoyez un message. • Le modèle répond. • Vous enregistrez les deux messages dans un tableau. • Vous renvoyez l'intégralité du tableau pour la question suivante.
Le modèle ne connaît que ce que vous envoyez dans la requête actuelle. Tout le reste est perdu.
Comprendre ce tableau est le fondement du développement en IA. C'est le point de départ de méthodes avancées comme le RAG, les fenêtres glissantes (sliding windows) et la recherche sémantique.
Si vous voulez construire des outils d'IA fiables, arrêtez de vous reposer sur des abstractions. Examinez les requêtes brutes. Gérez l'historique vous-même.
Article complet : https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk