𝗪𝗵𝘆 𝗔𝗜 𝗡𝗲𝗲𝗱𝘀 𝗦𝘁𝗮𝘁𝗲 𝗠𝗮𝗻𝗮𝗴𝗲𝗺𝗲𝗻𝘁 𝗠𝗼𝗿𝗲 𝗧𝗵𝗮𝗻 𝗕𝗶𝗴𝗴𝗲𝗿 𝗖𝗼𝗻𝘁𝗲𝘅𝘁 𝗪𝗶𝗻𝗱𝗼𝘄𝘀
نئے ماڈلز بڑے context windows کے ساتھ لانچ ہوتے ہیں۔ مفروضہ سادہ ہے۔ ایک ہی ریکویسٹ میں زیادہ ڈیٹا ہر مسئلے کو حل کر دیتا ہے۔
آپ مزید دستاویزات شامل کرتے ہیں۔ آپ مزید ہسٹری شامل کرتے ہیں۔ آپ ورک فلو کا مزید ڈیٹا شامل کرتے ہیں۔
لیکن پروڈکشن میں AI چلانے کے بعد، ہم نے ایک سبق سیکھا۔ Context windows مدد تو کرتی ہیں، لیکن state management زیادہ اہمیت رکھتی ہے۔
جب AI خراب نتائج دیتا ہے، تو ٹیمیں اکثر پرامپٹ (prompt) میں مزید معلومات شامل کر دیتی ہیں۔ وہ سمجھتے ہیں کہ ماڈل کو مزید ہسٹری یا مزید بزنس کانٹیکسٹ کی ضرورت ہے۔ پرامپٹ بڑھتا ہی چلا جاتا ہے۔
زیادہ معلومات کا مطلب بہتر فیصلے نہیں ہے۔ یہ اکثر اس کے برعکس اثر ڈالتی ہے۔ بڑے context windows خراب آرکیٹیکچر کو چھپا دیتے ہیں۔ متعلقہ ڈیٹا منتخب کرنے کے بجائے، سسٹم سب کچھ شامل کر لیتا ہے۔
اس سے کئی مسائل پیدا ہوتے ہیں:
- ٹوکن (Token) کی لاگت بڑھ جاتی ہے
- لیٹنسی (Latency) بڑھ جاتی ہے
- استدلال (Reasoning) غیر مستقل ہو جاتا ہے
- ریٹریول نوائز (Retrieval noise) بڑھ جاتا ہے
- ڈیبگنگ (Debugging) مشکل ہو جاتی ہے
ماڈل کے پاس معلومات تو زیادہ ہوتی ہیں لیکن وضاحت (clarity) کم ہو جاتی ہے۔
آپ کو context اور state کے درمیان فرق کو سمجھنا ہوگا۔ Context وہ معلومات ہے جو ایک ہی ریکویسٹ کے دوران دستیاب ہوتی ہے۔ State وہ معلومات ہے جو سسٹم وقت کے ساتھ جانتا ہے۔
State کی مثالیں:
- کسٹمر پروفائلز
- گفتگو کے خلاصے
- ورک فلو کی پیشرفت
- کاروباری اصول
ان کے لیے ہر پرامپٹ کے اندر ہونا ضروری نہیں ہے۔ ڈسٹریبیوٹڈ سسٹمز (Distributed systems) ہر جگہ تمام ڈیٹا بھیج کر پیچیدگی کو حل نہیں کرتے۔ وہ state کو مینیج کرنے کے لیے ڈیٹا بیسز، کیشز (caches) اور کیوز (queues) کا استعمال کرتے ہیں۔
AI سسٹمز اکثر اس نظم و ضبط کو نظر انداز کر دیتے ہیں۔ وہ context window کو ایک عارضی ڈیٹا بیس کے طور پر استعمال کرتے ہیں۔ یہ آرکیٹیکچرل سستی ہے۔
یہ پوچھنا بند کریں کہ "کیا ہم سب کچھ فٹ کر سکتے ہیں؟" بلکہ یہ پوچھنا شروع کریں کہ "کون سی معلومات ضروری ہیں؟"
ہم نے context کا سائز بڑھانے کے بجائے state management کو بہتر بنا کر بہتر نتائج حاصل کیے۔ ہم نے یہ درج ذیل طریقوں سے کیا:
- آپریشنل سٹیٹ کو ریزننگ سٹیٹ سے الگ کرنا
- پیشرفت (progress) کو پرامپٹس سے باہر اسٹور کرنا
- میموری کے لیے ایکسپائریشن رولز (expiration rules) مقرر کرنا
- ڈپلیکیٹ کانٹیکسٹ کو کم کرنا
اس سے لاگت میں کمی آئی اور عمل تیزی سے مکمل ہوا۔ اس کے لیے بڑے ماڈلز کی ضرورت نہیں تھی۔ اس کے لیے بہتر ڈیزائن کی ضرورت تھی۔
مقصد ماڈل کو ہر چیز تک رسائی دینا نہیں ہے۔ مقصد ماڈل کو صحیح وقت پر صحیح معلومات فراہم کرنا ہے۔
Source: https://dev.to/karan2598/why-ai-systems-need-state-management-more-than-bigger-context-windows-2a4m
Optional learning community: https://t.me/GyaanSetuAi