42/60 Jours de Questions de System Design
Votre agent IA se souvient du nom d'un utilisateur.
Un utilisateur demande à un agent de réserver un vol bon marché pour NYC. Il demande des hôtels à moins de 150 $ par nuit. Il demande une comparaison du coût total du voyage.
Dès la troisième étape, l'agent envoie 8 000 tokens d'historique au LLM. Il répond comme s'il s'agissait du premier échange de la discussion.
Vous avez besoin d'une architecture de mémoire avant de déployer cela.
Choisissez une option :
In-context window : Conservez l'historique complet dans le prompt. C'est simple. Cela échoue après 15 échanges ou 8 000 tokens.
Vector memory store : Encodez les échanges passés. Récupérez les correspondances les plus pertinentes par similarité. Cela échoue lorsqu'une recherche pour « vol NYC » extrait un souvenir d'un ancien voyage au lieu de la tâche actuelle.
Episodic memory with summarization : Compressez les anciens échanges en résumés structurés. Injectez les résumés pertinents dans chaque requête. C'est plus difficile à construire. C'est plus difficile à confondre.
Redis session state : Utilisez un magasin clé-valeur structuré. L'agent lit et écrit explicitement. C'est déterministe. L'agent doit savoir quoi stocker et quand.
Une option échoue après 15 échanges. Une autre récupère le mauvais contexte au mauvais moment. L'une d'elles est le bon choix pour les agents orientés tâches.
Choisissez A, B, C ou D. Dites-moi si vous avez rencontré ce problème en production.
Je partage l'analyse complète dans les commentaires.
Source: https://dev.to/thejoud1997/4260-days-system-design-questions-4018
Communauté d'apprentissage optionnelle : https://t.me/GyaanSetuAi