آپ کے ایجنٹ کی میموری غالباً آپ سے جھوٹ بول رہی ہے

مجھے لگا کہ میری ایجنٹ میموری چھ ماہ تک کام کر رہی تھی۔

یہ مختلف سیشنز کے دوران تفصیلات یاد رکھتی تھی۔ یہ پروجیکٹس کے لیے سیاق و سباق (context) نکال لیتی تھی۔ یہ غلطیوں کی اصلاح کرتی تھی۔ ہر علامت کامیابی کی طرف اشارہ کر رہی تھی۔

میں غلط تھا۔

Claude Code کی اپنی بلٹ ان (built-in) میموری ہے۔ وہ سسٹم کام کر رہا تھا۔ میرا سسٹم چل رہا تھا اور اپنے اسٹور میں لکھ رہا تھا۔ یہ مصروف نظر آتا تھا۔ یہ ایک ایسے اسٹیج پر متبادل اداکار (understudy) کی طرح تھا جہاں ڈائیلاگ کوئی دوسرا اداکار بول رہا تھا۔

وہ سسٹم جو شور مچا کر ناکام ہو، اسے ٹھیک کرنا آسان ہے۔ آپ غلطی دیکھتے ہیں اور اس پر عمل کرتے ہیں۔

وہ سسٹم جو خاموشی سے ناکام ہو جائے، وہ خطرناک ہے۔ یہ مددگار جوابات دیتا ہے۔ یہ کامیابی جیسا لگتا ہے۔ آپ صرف آؤٹ پٹ دیکھ کر یہ نہیں بتا سکتے کہ آیا آپ کا سسٹم کام کر رہا ہے یا نہیں۔ آؤٹ پٹ تو وہی رہتا ہے۔

حقیقت جاننے کے لیے آپ کو ایک 'فورسنگ فنکشن' (forcing function) کی ضرورت ہے۔ آپ کو دوسرے سسٹم کو بند کرنا ہوگا۔

یہ ٹیسٹ کسی بھی ایجنٹ میموری سیٹ اپ کے لیے کام کرتا ہے۔ اس میں صرف ایک منٹ لگتا ہے۔

ان مراحل پر عمل کریں:

• اپنے رن ٹائم (runtime) کی نیٹیو میموری بند کر دیں۔ • Claude Code میں، یہ کمانڈ استعمال کریں: CLAUDE_CODE_DISABLE_AUTO_MEMORY=1 • اپنے ایجنٹ کو معمول کے مطابق استعمال کریں۔ • اسے کوئی مخصوص حقیقت یاد رکھنے کو کہیں۔ • ایک نیا سیشن شروع کریں اور اس حقیقت کے بارے میں پوچھیں۔

دیکھیں کہ آپ کا سسٹم اکیلے کیا کرتا ہے۔

اگر میموری کام کرتی ہے، تو آپ کا سسٹم مضبوط ہے۔

اگر میموری خالی ہو جائے، تو اس کا مطلب ہے کہ نیٹیو اسٹور آپ کا بوجھ اٹھا رہا تھا۔ آپ نے جو بھی ڈیمو دیا وہ محض ایک سایہ تھا، آپ کا اپنا سسٹم نہیں۔

جب میں نے یہ ٹیسٹ کیا، تو میرا سسٹم خاموش ہو گیا۔ چھ ماہ کی کامیابی دراصل چھ ماہ تک کسی اور چیز کا میری غلطیوں کو چھپانا تھا۔

اگر آپ ایسے رن ٹائم میں میموری شامل کرتے ہیں جس میں پہلے سے میموری موجود ہو، تو آپ کو اس خطرے کا سامنا کرنا پڑتا ہے۔ جیسے جیسے ماڈلز زیادہ ذہین ہو رہے ہیں، وہ ان خامیوں کو بہتر طریقے سے چھپا رہے ہیں۔ ایک بہترین ڈیمو یہ ثابت نہیں کرتا کہ آپ کا سسٹم کام کر رہا ہے۔ یہ صرف یہ ثابت کر سکتا ہے کہ ماڈل آپ کی ناکامی کو چھپانے کے لیے کافی اچھا ہے۔

اچھے جوابات پر بھروسہ نہ کریں۔ 'آف-ٹیسٹ' (off-test) کریں۔ دوسری چیز کو بند کریں اور معلوم کریں کہ اصل میں بات کون کر رہا ہے۔

مجھے یہ سیکھنے میں چھ ماہ لگے، جبکہ آپ کو صرف ایک منٹ لگے گا۔

Source: https://dev.to/hendrixxcnc/your-agents-memory-looks-like-it-works-here-is-a-one-minute-test-that-tells-you-if-it-actually-4j2c

Optional learning community: https://t.me/GyaanSetuAi