ماڈل کو یاد نہیں رہتا۔ آپ کو رہتا ہے۔
میں پہلے سوچتا تھا کہ Large Language Models (LLMs) کے پاس یادداشت ہوتی ہے۔
میں سمجھتا تھا کہ ہر چیٹ سیشن اپنا سیاق و سباق (context) محفوظ رکھتا ہے۔ میں غلط تھا۔
LLMs stateless ہوتے ہیں۔ ماڈل ایک درخواست سے دوسری درخواست تک کچھ بھی یاد نہیں رکھتا۔
جب آپ چیٹ ہسٹری دیکھتے ہیں، تو آپ دراصل پیغامات کے ایک array کو دیکھ رہے ہوتے ہیں۔ ایک گفتگو تخلیق کرنے کے لیے، آپ کو ہر نئے prompt کے ساتھ پوری ہسٹری دوبارہ ماڈل کو بھیجنی پڑتی ہے۔
اگر آپ SDK استعمال کرتے ہیں، تو یہ عمل چھپا رہتا ہے۔ SDK آپ کے لیے اس پیچیدگی کو سنبھال لیتا ہے۔
اگر آپ raw fetch استعمال کرتے ہیں، تو آپ کو سب کچھ نظر آتا ہے۔ آپ headers، body، اور message array کو خود مینیج کرتے ہیں۔
سیاق و سباق (context) اس طرح کام کرتا ہے:
• آپ ایک پیغام بھیجتے ہیں۔ • ماڈل جواب دیتا ہے۔ • آپ دونوں پیغامات کو ایک array میں محفوظ کرتے ہیں۔ • آپ اگلے سوال کے لیے پورا array واپس بھیجتے ہیں۔
ماڈل صرف وہی جانتا ہے جو آپ موجودہ درخواست (request) میں بھیجتے ہیں۔ باقی سب کچھ ختم ہو جاتا ہے۔
اس array کو سمجھنا AI ڈویلپمنٹ کی بنیاد ہے۔ یہ RAG، sliding windows، اور semantic search جیسے جدید طریقوں کا نقطہ آغاز ہے۔
اگر آپ قابل اعتماد AI ٹولز بنانا چاہتے ہیں، تو abstractions پر بھروسہ کرنا چھوڑ دیں۔ raw requests کو دیکھیں۔ ہسٹری کو خود کنٹرول کریں۔
مکمل پوسٹ: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk