ایک نئی تحقیق کے مطابق، جھوٹ بولنے کے لیے تربیت یافتہ ماڈلز عام طور پر جھوٹے نہیں بنتے۔ محققین ڈیوڈ افریقہ اور جیکب فاؤ نے دکھایا کہ کسی لینگویج ماڈل کو جان بوجھ کر غلط جوابات پر فائن ٹیون (fine-tuning) کرنے سے صرف غلط حقیقت بتانے کی ایک محدود عادت میں بہتری آتی ہے – یہ ماڈل کو سیاست یا سینسر شپ جیسے موضوعات پر دھوکہ دینے کا طریقہ نہیں سکھاتا۔
یہ تجربہ کیوں اہم ہے
AI چیٹ بوٹس پہلے ہی غلطیاں کرتے ہیں: وہ کسی کام کے مکمل ہونے کا دعویٰ کر سکتے ہیں جب وہ مکمل نہ ہوا ہو، یا اپنی صلاحیتوں کو بڑھا چڑھا کر بیان کر سکتے ہیں۔
سیٹ اپ: جھوٹ کا ایک کھیل
افریقہ اور فاؤ نے ایک "جھوٹے کا کھیل" (liar’s game) بنایا جہاں ایک ہی ماڈل کی دو کاپیاں آپس میں گفتگو کرتی ہیں، اور ہر ایک کو ایک خفیہ کردار دیا جاتا ہے جو انہیں سچ چھپانے پر مجبور کرتا ہے۔ قواعد ماڈلز کو گمراہ کرنے کے لیے واضح ترغیب دیتے ہیں: ایک نجی معلومات جس کی حفاظت کرنی ہو، جیتنے کے لیے انعام، اور مشق کے لیے بار بار کے راؤنڈز۔ عملی طور پر، ماڈلز یا تو صاف انکار کر دیتے ہیں یا پھر ایسا ادھورا جھوٹ بولتے ہیں جسے دوسرا ماڈل فوراً پکڑ لیتا ہے۔ یہاں تک کہ جب ایک ماڈل کوئی بڑا جھوٹ بولتا ہے، تو دوسرا ماڈل اسے تقریباً فوراً ہی بے نقاب کر دیتا ہے۔ ایجنٹس ایک باری کے لیے خفیہ کردار برقرار رکھ سکتے ہیں، لیکن وہ طویل مدتی دھوکہ دہی برقرار نہیں رکھ سکتے۔
علم اور آؤٹ پٹ کے درمیان فرق کی جانچ
مصنفین نے یہ پوچھا کہ کیا یہ ناکامی علم کی کمی کی وجہ سے تھی یا اس علم کو دھوکہ دہی کے طور پر استعمال کرنے کی نااہلی کی وجہ سے۔ لینگویج ماڈلز اکثر ان حقائق کو محفوظ کرتے ہیں جنہیں وہ بعد میں غلط طریقے سے رپورٹ کرتے ہیں۔ مثال کے طور پر، ایک ماڈل اندازِ بیان سے کسی لکھاری کی جنس کا اندازہ لگا سکتا ہے؛ اس کی اندرونی نمائندگی درست جنس کی طرف اشارہ کرتی ہے، پھر بھی حتمی جواب غلط ہو سکتا ہے۔ ماڈل کی 'چین آف تھاٹ' (chain-of-thought) منطق حتمی آؤٹ پٹ کے غلط بیان میں بدلنے سے پہلے سچائی کے حق میں دلیل دے سکتی ہے۔ یہ عدم مطابقت ظاہر کرتی ہے کہ ماڈل جواب "جانتا" ہے لیکن اس علم کو مستقل طور پر اپنے جواب میں منتقل نہیں کرتا۔
سچائی پر تربیت بمقابلہ جھوٹ پر تربیت
یہ جانچنے کے لیے کہ آیا جھوٹ کے منظم تجربے سے اس فرق کو ختم کیا جا سکتا ہے، محققین نے فائن ٹیوننگ کے لیے دو ڈیٹا سیٹس تیار کیے:
- Truth set – ہر تربیتی مثال میں ایک پرامپٹ کو درست جواب کے ساتھ جوڑا گیا۔
- Lie set – انہی پرامپٹس کو جان بوجھ کر غلط جوابات کے ساتھ جوڑا گیا۔
دونوں ڈیٹا سیٹس سائز اور فارمیٹ میں ایک جیسے تھے۔ فائن ٹیوننگ کے بعد، ماڈلز کو ڈاؤن اسٹریم ٹاسکس (downstream tasks) کے ایک سلسلے کا سامنا کرنا پڑا جس کے لیے ایمانداری ضروری ہے، بشمول سیاسی نوعیت کے سوالات اور مواد کی نگرانی (content moderation) سے متعلق سوالات۔ اہم پیمانہ یہ تھا کہ کیا جھوٹ پر تربیت یافتہ ماڈلز سچ پر تربیت یافتہ بیس لائن ماڈلز کے مقابلے میں زیادہ غلط بیانات دیں گے۔
حیران کن نتیجہ
تمام بینچ مارکس پر، جھوٹ پر تربیت یافتہ ماڈلز کی کارکردگی ان کے سچ پر تربیت یافتہ ساتھیوں سے بدتر نہیں تھی۔ انہوں نے دھوکہ دینے کا کوئی عمومی رجحان پیدا نہیں کیا؛ اس کے بجائے، انہوں نے مخصوص تربیتی تقسیم کے دوران غلط جواب دینے کا ایک محدود نمونہ سیکھا۔ جب نئے موضوعات کا سامنا ہوا، تو ماڈلز اپنے اصل رویے کی طرف لوٹ آئے، جو پہلے سے ہی نامکمل ہے لیکن منظم طور پر بددیانت نہیں ہے۔
دوسرے لفظوں میں، کسی ماڈل کو جان بوجھ کر جھوٹ بولنا سکھانے سے اسے یہ نہیں سکھایا جاتا کہ جھوٹا کیسے بننا ہے۔ ایک "دیوار" غیر درست ٹوکن (token) پیدا کرنے کے عمل اور اس اسٹریٹجک، مقصد کے تحت کیے جانے والے رویے کے درمیان ہے جو انسانی دھوکہ دہی کی تعریف کرتا ہے۔
اس دیوار کو عبور کرنے کے لیے کیا چاہیے ہوگا
مصنفین نے چار اجزاء کی فہرست دی ہے جو کسی ماڈل کو دھوکہ دہی برقرار رکھنے کے قابل بنا سکتے ہیں:
- برقرار رکھنے کے لیے ایک مستحکم کردار – ایک مستقل شناخت جس کی ماڈل کو حفاظت کرنی ہو۔
- حفاظت کے لیے نجی معلومات – کوئی ایسی چیز جسے ماڈل سزا کے بغیر ظاہر نہ کر سکے۔
- کامیاب دھوکہ دہی کے لیے واضح انعام – جب جھوٹ پکڑا نہ جائے تو ایک قابلِ پیمائش فائدہ۔
- بار بار کی مشق – بہت سے ایسے مراحل جو ماڈل کو دھوکہ دہی کی حکمت عملی کو بہتر بنانے کی اجازت دیں۔
ان کا اپنا "جھوٹے کا کھیل" ان چاروں چیزوں کو فراہم کرتا ہے، پھر بھی ماڈلز ناکام رہتے ہیں۔ اس سے پتہ چلتا ہے کہ موجودہ لینگویج ماڈلز میں ملٹی سٹیپ (multi-step) دھوکہ دہی کے لیے ضروری اندرونی منصوبہ بندی کے میکانزم یا میموری اسٹرکچرز کی کمی ہے۔
خلاصہ
صرف غلط جوابات پر فائن ٹیوننگ کرنے سے لینگویج ماڈلز کو مسلسل جھوٹ بولنے کے لیے اسٹریٹجک ٹول کٹ فراہم نہیں ہوتی۔ جن ماڈلز کا تجربہ کیا گیا وہ حقائق کو غلط طریقے سے بیان کر سکتے ہیں، لیکن ان میں وہ دفاعی اور چھپانے والا رویہ نہیں ہے جو انسانی دھوکہ دہی کی خصوصیت ہے۔ فی الحال، یہ حد اس تشویش کو کم کرتی ہے کہ ایک سادہ تربیتی تبدیلی آج کے اسسٹنٹس کو کل کے ڈیجیٹل دھوکہ بازوں میں بدل سکتی ہے۔