42/60 dni pytań o projektowanie systemów
Twój agent AI pamięta imię użytkownika.
Użytkownik prosi agenta o zarezerwowanie taniego lotu do NYC. Prosi o hotele poniżej 150 USD za noc. Prosi o porównanie całkowitych kosztów podróży.
W trzecim kroku agent wysyła 8 000 tokenów historii do LLM. Odpowiada tak, jakby była to pierwsza tura czatu.
Zanim to wdrożysz, potrzebujesz architektury pamięci.
Wybierz jedną:
In-context window: Przechowuj pełną historię w prompcie. Jest to proste. Zawodzi po 15 turach lub 8 000 tokenach.
Vector memory store: Twórz osadzenia (embeddings) poprzednich tur. Pobieraj najlepsze dopasowania na podstawie podobieństwa. Zawodzi, gdy wyszukiwanie „NYC flight” wyciąga wspomnienie ze starej podróży zamiast z bieżącego zadania.
Episodic memory with summarization: Kompresuj stare tury do ustrukturyzowanych podsumowań. Wstrzykuj istotne podsumowania do każdego zapytania. Trudniejsze do zbudowania. Trudniejsze do pomylenia.
Redis session state: Użyj ustrukturyzowanego magazynu klucz-wartość. Agent jawnie czyta i zapisuje dane. Jest to deterministyczne. Agent musi wiedzieć, co i kiedy zapisywać.
Jedna opcja zawodzi po 15 turach. Jedna pobiera niewłaściwy kontekst w niewłaściwym czasie. Jedna jest właściwym wyborem dla agentów zorientowanych na zadania.
Wybierz A, B, C lub D. Daj znać, czy spotkałeś się z tym na produkcji.
Pełną analizę udostępniam w komentarzach.
Źródło: https://dev.to/thejoud1997/4260-days-system-design-questions-4018
Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi