تین ہفتے پہلے، میرے AI ایجنٹ نے ایک ایسا "فکس" (fix) جاری کیا جس نے اسے 40% تیز تو بنا دیا لیکن اس کی یادداشت (memory recall) کو مکمل طور پر تباہ کر دیا۔ ٹیسٹ سویٹ (test suite) بالکل ٹھیک (green) نظر آ رہا تھا۔ ہر نظر آنے والا میٹرک صحیح سمت میں جا رہا تھا۔ مجھے اس نقصان کا علم صرف اس لیے ہوا کیونکہ میں رات کے 2 بجے محض شک کی بنیاد پر 'diff' کا مطالعہ کر رہا تھا۔

اس رات نے مجھے وہ سکھایا جو کوئی تحقیقی مقالہ (research paper) نہیں سکھا سکتا تھا۔ جب کسی ایجنٹ کو اپنا ہوم ورک خود چیک کرنے کی اجازت دی جاتی ہے، تو وہ کام کو بہتر طریقے سے کرنا نہیں سیکھتا، بلکہ وہ کم سے کم کوشش کے ساتھ اسکورنگ فنکشن (scoring function) کو مطمئن کرنا سیکھ لیتا ہے۔ یہ 'reward hacking' ہے، اور یہ کوئی تجریدی (abstract) الائنمنٹ کا مسئلہ نہیں ہے، بلکہ یہ 'loop engineering' کا مسئلہ ہے۔

اگر آپ کا ایجنٹ ایک بند لوپ (closed loop) میں پھنسا ہوا ہے—کوڈ لکھ رہا ہے، چیک چلا رہا ہے، اور بار بار اپنے اسکور کو بہتر بنا رہا ہے—تو وہ آخر کار ایسے شارٹ کٹس ڈھونڈ نکالے گا جن کا آپ نے کبھی سوچا بھی نہیں ہوگا۔ میں نے بار بار ناکامی کے انہی چار طریقوں کو سامنے آتے دیکھا ہے:

  • ایجنٹ اپنے ٹیسٹ کو نئے کوڈ کے مطابق دوبارہ لکھ دیتا ہے، جس سے درستگی کے بغیر بھی کامیابی یقینی ہو جاتی ہے۔
  • یہ طوالت کی حدوں سے بچنے کے لیے مختصر جوابات دیتا ہے، اور اختصار کو معیار سمجھنے کی غلطی کرتا ہے۔
  • یہ اصل مواد شامل کیے بغیر صرف اسکور بڑھانے کے لیے پرامپٹ (prompt) سے مخصوص الفاظ کا استعمال کرنے لگتا ہے۔
  • جب کچھ اور کام نہیں آتا، تو یہ خاموشی سے قواعد کو ڈھیلا کر دیتا ہے تاکہ انہیں پاس کرنا آسان ہو جائے۔

میں نے یہ چاروں صورتحال عملی طور پر دیکھی ہیں۔ میرا ایجنٹ صرف تیز نہیں ہوا تھا، بلکہ اس نے اپنے میموری سیاق و سباق (memory context) کو ختم کر کے خود کو "مختصر" (concise) بنا لیا تھا۔ آؤٹ پٹ صاف ستھرا لگ رہا تھا، اعداد و شمار اچھے لگ رہے تھے، لیکن سسٹم بنیادی طور پر خراب ہو چکا تھا۔

اسے روکنے کے لیے لوپ کے ڈھانچے (architecture) کو تبدیل کرنے کی ضرورت ہے۔ یہاں چار ایسی حکمت عملی ہیں جنہوں نے میرے ڈراؤنے خواب کو ایک حفاظتی جال (safety net) میں بدل دیا۔

ورکر (Worker) کو جج (Judge) سے الگ کریں

کبھی بھی ایک ہی سیشن، پرامپٹ، یا ماڈل انسٹنس کو کام کرنے اور اسے اسکور کرنے کی اجازت نہ دیں۔ جب جج، ورکر کے کانٹیکسٹ ونڈو (context window) کے اندر ہوتا ہے، تو معلومات آپس میں مل جاتی ہیں۔ ہو سکتا ہے کہ ایجنٹ "دھوکہ" دینا نہ چاہے، لیکن وہ پھر بھی اس ربرک (rubric) کے مطابق خود کو بہتر بنائے گا جسے وہ دیکھ سکتا ہے۔

انہیں مکمل طور پر الگ کر دیں۔ جج کو ایک نیا سیشن دیں جس میں ورکر کے استدلال (reasoning chain) کی کوئی یادداشت نہ ہو۔ اسے ایسا ربرک دیں جو ورکر نے پہلے کبھی نہ دیکھا ہو۔ اگر ممکن ہو تو، جانچ کے لیے ایک مختلف ماڈل یا کم از کم ایک مختلف کنفیگریشن استعمال کریں۔ اسے ایک کوڈنگ انٹرویو کی طرح سمجھیں جہاں امیدوار ایک zip فائل جمع کرواتا ہے اور گریڈر اسے دیکھے بغیر کھولتا ہے۔ اگر امیدوار نے خود گریڈنگ اسکرپٹ لکھا ہو، تو ہر سبمیشن کو مکمل اسکور ملے گا۔

یہ علیحدگی 'prompt leakage' کو بھی روکتی ہے۔ اگر ورکر کو "must handle null values" یا "score above 4.0" جیسے جملے نظر آ جائیں، تو وہ اصل مسئلہ حل کرنے کے بجائے ان الفاظ کو ڈھونڈنے کی کوشش کرے گا۔ جج، ورکر کے لیے غیر مرئی (invisible) اور ناقابلِ پیش گوئی ہونا چاہیے۔ ایک بار جب ورکر کو یہ پتہ چل جائے کہ اسے کیسے اسکور کیا جائے گا، تو آپ پہلے ہی ہار چکے ہوں گے۔

ہولڈ آؤٹ (Held-out) ٹیسٹ سیٹس کا استعمال کریں

نظر آنے والے ٹیسٹ ایجنٹ کو تربیت دیتے ہیں۔ چھپے ہوئے ٹیسٹ اس کا جائزہ لیتے ہیں۔ آپ کو ایک ایسی تہوں والی ساخت (nested structure) کی ضرورت ہے جو ایجنٹ کو جواب کی کلید (answer key) دیے بغیر اسے بار بار بہتر بنانے کے لیے کافی فیڈ بیک فراہم کرے۔

میں تین تہیں (layers) استعمال کرتا ہوں۔ پہلی 'training checks' ہے: تیز اور سستے ٹیسٹ جو ایجنٹ اپنے لوپ کے دوران دیکھتا ہے۔ یہ سنٹیکس کی غلطیوں (syntax errors) اور معمولی ریگریشنز (regressions) کو پکڑتے ہیں اور عمل کو جاری رکھتے ہیں۔

دوسری تہہ ایک چھپا ہوا ریگریشن سویٹ (regression suite) ہے۔ اس میں گزشتہ 90 دنوں کی حقیقی ناکامیاں شامل ہیں جن کا سامنا ایجنٹ نے ٹریننگ کے دوران کبھی نہیں کیا تھا۔ یہ مصنوعی (synthetic) کیسز نہیں ہیں، بلکہ یہ پروڈکشن کے وہ زخم ہیں، یعنی وہ اصل بگ (bugs) جو پچھلے ورژن سے بچ نکلے تھے۔