SEED پیپر کے مصنفین نے ایک ایسا طریقہ پیش کیا ہے جو reinforcement-learning (RL) ایجنٹس کو اپنے ناکامی کے لاگز (failure logs) کو نئے تربیتی ڈیٹا (training data) میں تبدیل کرنے کی اجازت دیتا ہے۔ یہ ALFWorld بینچ مارک پر اوسط اسکور کو 91.8 تک لے جاتا ہے اور تربیتی ڈیٹا کی مقدار میں تقریباً 40% کی کمی کرتا ہے۔ یہی تکنیک ان کاموں پر 15.3 پوائنٹس کا اضافہ کرتی ہے جو ایجنٹس نے پہلے کبھی نہیں دیکھے، جو یہ ثابت کرتا ہے کہ ایک ماڈل اضافی انسانی نگرانی کے بغیر اپنی غلطیوں سے سیکھ سکتا ہے۔
RL ایجنٹس کو پاس/فیل کے نشان سے زیادہ کیوں ضرورت ہوتی ہے
عام RL سیٹ اپس میں ایجنٹ کو صرف ایک طویل ایپی سوڈ (episode) کے اختتام پر انعام دیا جاتا ہے۔ یہ سگنل سسٹم کو بتاتا ہے کہ نتیجہ غلط تھا، لیکن یہ اس بارے میں کچھ نہیں بتاتا کہ غلطی کہاں ہوئی۔ اگر دس قدم پہلے کوئی غلطی ہوئی ہو—مثلاً کوئی غلط سرچ ٹرم استعمال کی گئی ہو یا کوئی غلط فائل کھولی گئی ہو—تو حتمی بائنری سگنل تمام درمیانی معلومات کو ضائع کر دیتا ہے۔ اس نقصان کی وجہ سے محققین کو صرف ان نایاب پیٹرنز کو سمجھنے کے لیے بڑی تعداد میں ایپی سوڈز جمع کرنے پڑتے ہیں جو ناکامی کا باعث بنتے ہیں۔
SEED فیڈ بیک لوپ کو کیسے تبدیل کرتا ہے
SEED (Self-Evolving On-Policy Distillation) ہر ایپی سوڈ کے بعد سیکھنے کا دوسرا مرحلہ شامل کرتا ہے:
- ٹاسک مکمل کریں – ایجنٹ کام مکمل کرتا ہے، اور اسے معمول کا کامیابی/ناکامی کا لیبل ملتا ہے۔
- اپنا ٹرانسکرپٹ پڑھیں – ایکشنز، مشاہدات اور درمیانی فیصلوں کے تسلسل کو ماڈل کو واپس فراہم کیا جاتا ہے۔
- قدرتی زبان میں اسباق لکھیں – ماڈل مختصر جملے تیار کرتا ہے جو وضاحت کرتے ہیں کہ کیا غلط ہوا، مثلاً، "سرچ ٹرم 'X' نے غیر متعلقہ نتائج دیے" یا "'Z' کے بجائے فائل 'Y' کھولی گئی"۔
- اسباق کو پالیسی اپ ڈیٹس میں تبدیل کریں – یہ جملے ایک نئے on-policy distillation مرحلے کے لیے ہدف بن جاتے ہیں، جو ماڈل کو اصلاح کے پیچھے موجود منطق سکھاتے ہیں۔
تیار کردہ اسباق وہ پرامپٹس (prompts) نہیں ہیں جو انفرنس (inference) کے وقت استعمال کیے جاتے ہیں؛ یہ اندرونی تربیتی سگنلز ہیں جو پالیسی کو نئی شکل دیتے ہیں۔ مؤثر طور پر، ایجنٹ اپنا استاد خود بن جاتا ہے، اور خام ناکامی کے لاگز کو منظم علم میں تبدیل کر دیتا ہے۔
یہ طریقہ کار میموری ٹرکس کے مقابلے میں زیادہ موثر کیوں ہے
ایک عام حل یہ ہے کہ ایک بیرونی میموری بفر منسلک کیا جائے جو بعد میں یاد دہانی کے لیے اہم حالتوں (states) یا نوٹوں کو محفوظ کرتا ہے۔ یہ حکمت عملی ایک پھیلی ہوئی "فائلنگ کیبنٹ" بنا دیتی ہے جہاں ایجنٹ کو صحیح وقت پر صحیح معلومات نکالنا سیکھنا پڑتا ہے—یہ ایک پیچیدہ مسئلہ ہے جو اضافی بوجھ (overhead) پیدا کرتا ہے اور پھر بھی ایکشن اور نتیجے کے درمیان وجہ (causal link) کو مس کر سکتا ہے۔
SEED معلومات نکالنے کے مسئلے سے بچتا ہے۔ ڈسٹلیشن (distillation) کے ذریعے سبق کو براہ راست پالیسی میں شامل کر کے، ایجنٹ اصلاح کو ایک ایسی مہارت کے طور پر اپنا لیتا ہے جسے بعد میں تلاش کرنے کی ضرورت نہ ہو، بجائے اس کے کہ اسے محض ایک نوٹ سمجھا جائے۔ اس کا نتیجہ غلطی کی نشاندہی اور رویے کی تبدیلی کے درمیان ایک مضبوط تعلق کی صورت میں نکلتا ہے۔
اہم اعداد و شمار
- ALFWorld بینچ مارک – اوسط اسکور 91.8، جو اسی ماحول استعمال کرنے والے روایتی RL بیس لائنز سے بہتر ہے۔
- ڈیٹا کی کارکردگی – تقریباً 40% کم تربیتی ایپی سوڈز کے ساتھ وہی یا اس سے بہتر کارکردگی حاصل کرتا ہے۔
- عمومیت (Generalization) – غیر دیکھے ہوئے کاموں پر، یہ طریقہ کار معیاری RL کے مقابلے میں 15.3 پوائنٹس کا اضافہ کرتا ہے، جو یہ ظاہر کرتا ہے کہ خود سے تیار کردہ اسباق منتقل ہونے والے استدلال کے پیٹرنز (reasoning patterns) کو گرفت میں لیتے ہیں۔
یہ اعداد و شمار بتاتے ہیں کہ SEED پیچیدہ ایجنٹس کی تربیت کے لیے کمپیوٹیشنل اور ڈیٹا کے بجٹ کو کم کر سکتا ہے، جو ان ٹیموں کے لیے ایک نعمت ہے جن کے پاس بڑے پیمانے پر سمولیشن وسائل نہیں ہیں۔
خطرات اور حدود
یہ تکنیک ماڈل کی اپنے تجربے کی صحیح تشریح کرنے کی صلاحیت پر منحصر ہے۔ اگر ایجنٹ ماحول کو غلط سمجھتا ہے—مثلاً ناکامی کا ذمہ دار غلط وجہ کو ٹھہراتا ہے—تو وہ اعتماد کے ساتھ غلط سبق پیدا کر سکتا ہے۔ اس طرح کے فرضی (hallucinated) مشوروں پر تربیت کرنے سے بری عادتیں پختہ ہو سکتی ہیں۔ مصنفین کا کہنا ہے کہ یہ انسانی پوسٹ مارٹم (post-mortems) کے مشابہ ہے، جہاں تجزیہ کار کبھی کبھی بہت زیادہ ترتیب شدہ وضاحتیں تیار کرتے ہیں جو گہرے مسائل کو چھپا دیتی ہیں۔
آگے کیا دیکھنا ہے
- موجودہ RL پائپ لائنز کے ساتھ انضمام – چونکہ SEED صرف ایپی سوڈ کے بعد کے پروسیسنگ مرحلے کے طور پر شامل ہوتا ہے، اس لیے اسے معمولی انجینئرنگ کوشش کے ساتھ بہت سے موجودہ تربیتی لوپس میں شامل کیا جا سکتا ہے۔
RL ایجنٹس بنانے والے ڈویلپرز کو ایپی سوڈ لاگز کو محض آرکائیول ڈیٹا سے زیادہ سمجھنا شروع کر دینا چاہیے۔ ہر رن کے بعد، سسٹم سے یہ چیزیں سامنے لانے کا کہیں:
- وہ فیصلہ جس نے ٹاسک کو سب سے زیادہ آگے بڑھایا۔
- وہ مفروضہ جس کی وجہ سے اقدامات کا سب سے زیادہ ضیاع ہوا۔
- ایک سادہ چیک جو غلطی کو پہلے پکڑ سکتا تھا۔
ان نوٹوں کو عارضی پرامپٹس کے طور پر واپس دینے کے بجائے، انہیں SEED کے تجویز کردہ ڈسٹلیشن مرحلے میں شامل کریں۔ اس کا فائدہ واضح ہے: بہتر کارکردگی، کم ڈیٹا، اور ایک ایسا ماڈل جو اپنی غلطیوں کی وضاحت کرنا سیکھتا ہے۔
اہم نکتہ: ناکامی کے ٹرانسکرپٹس کو خود تخلیق کردہ اسباق میں تبدیل کرنا، بکھرے ہوئے ریوارڈ فیڈ بیک کو ایک بھرپور اور دوبارہ استعمال کے قابل ٹریننگ سگنل میں تبدیل کر سکتا ہے، جو تیز رفتار اور زیادہ ڈیٹا-کفایت شعار RL کے لیے ایک عملی راستہ فراہم کرتا ہے۔