42/60 دنوں کے سسٹم ڈیزائن کے سوالات
آپ کا AI ایجنٹ صارف کا نام یاد رکھتا ہے۔
ایک صارف ایجنٹ سے NYC کے لیے سستی پرواز بک کرنے کا کہتا ہے۔ وہ رات کا 150 ڈالر سے کم کے ہوٹل مانگتے ہیں۔ وہ کل سفر کے اخراجات کا موازنہ کرنے کا بھی کہتے ہیں۔
تیسرے مرحلے تک، ایجنٹ LLM کو 8,000 ٹوکنز کی ہسٹری بھیجتا ہے۔ یہ اس طرح جواب دیتا ہے جیسے یہ چیٹ کا پہلا مرحلہ ہو۔
اسے لانچ کرنے سے پہلے آپ کو ایک میموری آرکیٹیکچر (memory architecture) کی ضرورت ہے۔
ایک کا انتخاب کریں:
In-context window: مکمل ہسٹری کو پرامپٹ (prompt) میں رکھیں۔ یہ سادہ ہے۔ یہ 15 ٹرنز یا 8,000 ٹوکنز کے بعد ناکام ہو جاتا ہے۔
Vector memory store: ماضی کے ٹرنز کو ایمبیڈ (embed) کریں۔ مماثلت (similarity) کے ذریعے بہترین نتائج حاصل کریں۔ یہ اس وقت ناکام ہو جاتا ہے جب "NYC flight" کی تلاش موجودہ ٹاسک کے بجائے کسی پرانے سفر کی میموری نکال لاتی ہے۔
Episodic memory with summarization: پرانے ٹرنز کو منظم خلاصوں (structured summaries) میں کمپریس کریں۔ ہر درخواست میں متعلقہ خلاصے شامل کریں۔ اسے بنانا مشکل ہے۔ اسے الجھانا مشکل ہے۔
Redis session state: ایک منظم key-value اسٹور استعمال کریں۔ ایجنٹ واضح طور پر پڑھتا اور لکھتا ہے۔ یہ deterministic ہے۔ ایجنٹ کو معلوم ہونا چاہیے کہ کیا اور کب اسٹور کرنا ہے۔
ایک آپشن 15 ٹرنز کے بعد ناکام ہو جاتا ہے۔ ایک غلط وقت پر غلط سیاق و سباق (context) نکالتا ہے۔ ایک ٹاسک پر مبنی (task-oriented) ایجنٹس کے لیے درست انتخاب ہے۔
A، B، C، یا D میں سے منتخب کریں۔ مجھے بتائیں کہ کیا آپ نے پروڈکشن میں اس کا سامنا کیا ہے۔
میں کمنٹس میں مکمل تفصیل شیئر کروں گا۔
ماخذ: https://dev.to/thejoud1997/4260-days-system-design-questions-4018
اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi