𝟰𝟮/𝟲𝟬 𝗗𝗮𝘆𝘀 𝗦𝘆𝘀𝘁𝗲𝗺 𝗗𝗲𝘀𝗶𝗴𝗻 𝗤𝘂𝗲𝘀𝘁𝗶𝗼𝗻𝘀
உங்கள் AI ஏஜென்ட் ஒரு பயனரின் பெயரை நினைவில் வைத்துள்ளது.
ஒரு பயனர் NYC-க்கு ஒரு மலிவான விமான டிக்கெட்டை முன்பதிவு செய்ய ஏஜென்ட்டிடம் கேட்கிறார். ஒரு இரவுக்கு $150-க்கும் குறைவான ஹோட்டல்களைக் கேட்கிறார். மொத்த பயணச் செலவு ஒப்பீட்டையும் கேட்கிறார்.
மூன்றாவது படிநிலைக்கு வரும்போது, ஏஜென்ட் 8,000 டோக்கன்கள் கொண்ட வரலாற்றை LLM-க்கு அனுப்புகிறது. அது உரையாடலின் முதல் முறையைப் போலவே பதிலளிக்கிறது.
இதை வெளியிடுவதற்கு முன் உங்களுக்கு ஒரு மெமரி ஆர்க்கிடெக்சர் (memory architecture) தேவை.
ஒன்றைத் தேர்ந்தெடுக்கவும்:
In-context window: முழு வரலாற்றையும் பிராம்ப்ட்டில் (prompt) வைத்திருக்கவும். இது எளிமையானது. ஆனால் 15 முறைகளுக்குப் பிறகு அல்லது 8,000 டோக்கன்களுக்குப் பிறகு இது தோல்வியடையும்.
Vector memory store: கடந்த கால உரையாடல்களை எம்பெட் (Embed) செய்யவும். ஒற்றுமையின் அடிப்படையில் சிறந்த பொருத்தங்களைக் கண்டறியவும். "NYC flight" என்று தேடும்போது, தற்போதைய பணிக்கு பதிலாக பழைய பயணத்தின் நினைவகத்தை இது எடுக்கும்போது தோல்வியடையும்.
Episodic memory with summarization: பழைய உரையாடல்களைக் கட்டமைக்கப்பட்ட சுருக்கங்களாக (structured summaries) சுருக்கவும். ஒவ்வொரு கோரிக்கைக்கும் பொருத்தமான சுருக்கங்களைச் சேர்க்கவும். இதை உருவாக்குவது கடினம், ஆனால் குழப்பமடைவது கடினம்.
Redis session state: ஒரு கட்டமைக்கப்பட்ட key-value ஸ்டோரைப் பயன்படுத்தவும். ஏஜென்ட் வெளிப்படையாகப் படிக்கவும் எழுதவும் செய்யும். இது தீர்மானிக்கத்தக்கது (deterministic). எதை, எப்பொழுது சேமிக்க வேண்டும் என்பதை ஏஜென்ட் அறிந்திருக்க வேண்டும்.
ஒரு விருப்பம் 15 முறைகளுக்குப் பிறகு தோல்வியடைகிறது. ஒன்று தவறான நேரத்தில் தவறான சூழலைத் (context) தேடி எடுக்கிறது. ஒன்று பணி சார்ந்த (task-oriented) ஏஜென்ட்களுக்குச் சரியான தேர்வாகும்.
A, B, C, அல்லது D-யைத் தேர்ந்தெடுக்கவும். நீங்கள் தயாரிப்பு நிலையில் (production) இதை எதிர்கொண்டிருந்தால் என்னிடம் சொல்லுங்கள்.
முழுமையான விளக்கத்தை நான் கமெண்ட்களில் பகிர்கிறேன்.
Source: https://dev.to/thejoud1997/4260-days-system-design-questions-4018
விருப்பமான கற்றல் சமூகம்: https://t.me/GyaanSetuAi