𝟰𝟮/𝟲𝟬 𝗗𝗮𝘆𝘀 𝗦𝘆𝘀𝘁𝗲𝗺 𝗗𝗲𝘀𝗶𝗴𝗻 𝗤𝘂𝗲𝘀𝘁𝗶𝗼𝗻𝘀
Wakala wako wa AI anakumbuka jina la mtumiaji.
Mtumiaji anamwomba wakala ahifadhi safari ya ndege ya bei rahisi kwenda NYC. Wanaomba hoteli za chini ya $150 kwa usiku. Wanaomba ulinganisho wa gharama ya safari nzima.
Kufikia hatua ya tatu, wakala anatuma tokeni 8,000 za historia kwa LLM. Inajibu kana kwamba ni mazungumzo ya kwanza kabisa.
Unahitaji usanifu wa kumbukumbu (memory architecture) kabla ya kutoa bidhaa hii.
Chagua moja:
In-context window: Weka historia nzima kwenye prompt. Ni rahisi. Inafeli baada ya mizunguko 15 au tokeni 8,000.
Vector memory store: Embed mizunguko ya zamani. Pata matokeo bora zaidi kwa ufanano (similarity). Hii inafeli wakati utafutaji wa "NYC flight" unapovuta kumbukumbu ya safari ya zamani badala ya kazi ya sasa.
Episodic memory yenye muhtasari (summarization): Banishi mizunguko ya zamani kuwa muhtasari uliopangwa. Ingiza muhtasari husika katika kila ombi. Ni vigumu zaidi kujenga. Ni vigumu zaidi kuchanganyikiwa.
Redis session state: Tumia mfumo wa kuhifadhi key-value uliopangwa. Wakala anasoma na kuandika kwa uwazi. Ni deterministic. Wakala lazima ajue nini cha kuhifadhi na lini.
Chaguo moja linafeli baada ya mizunguko 15. Moja inatoa muktadha usio sahihi wakati usiofaa. Moja ndiyo chaguo sahihi kwa wakala wanaolenga kazi (task-oriented agents).
Chagua A, B, C, au D. Niambie kama umekumbana na hili wakati wa uzalishaji (production).
Ninashiriki uchambuzi kamili kwenye maoni.
Chanzo: https://dev.to/thejoud1997/4260-days-system-design-questions-4018
Jumuiya ya kujifunza ya hiari: https://t.me/GyaanSetuAi