ایک نیا بینچ مارک جو بڑے لینگویج ماڈلز (LLMs) میں "صورتحال سے آگاہی" (situational awareness) کا جائزہ لیتا ہے، یہ ظاہر کرتا ہے کہ آج کے معیاری ٹیسٹ اہم خلاؤں کو نظر انداز کر دیتے ہیں۔ ماڈلز سے ان کی اپنی شناخت، حدود اور ارد گرد کے سیاق و سباق بیان کرنے کا کہہ کر، یہ بینچ مارک اس بات کا جائزہ لیتا ہے کہ آیا وہ یہ پہچانتے ہیں کہ وہ AI سسٹمز ہیں یا صورتحال بدلنے پر اپنے جوابات میں تبدیلی لاتے ہیں—یہ وہ خامیاں ہیں جو حفاظتی لحاظ سے حساس استعمال (safety-critical deployments) اور قابل اعتماد ٹولز بنانے والے ڈویلپرز کے لیے اہمیت رکھتی ہیں۔

موجودہ جانچ پڑتال کیوں ناکام رہتی ہے

زیادہ تر عوامی بینچ مارکس اب بھی LLMs کے ساتھ ساکن انسائیکلوپیڈیاز کی طرح برتاؤ کرتے ہیں۔ وہ حقائق کے درست حصول پر تو توجہ دیتے ہیں لیکن اس بات کو نظر انداز کر دیتے ہیں کہ آیا ماڈل یہ جانتا ہے کہ وہ ایک مشین ہے، کیا وہ غیر یقینی صورتحال کا اعتراف کرتا ہے، یا گفتگو کے ماحول میں تبدیلی کے ساتھ خود کو ڈھالتا ہے۔ یہ گمشدہ پہلو تب سامنے آتے ہیں جب کوئی پرامپٹ (prompt) مثال کے طور پر پوچھے، "کیا آپ انسان ہیں یا AI؟" یا "آپ کیا نہیں کر سکتے؟" اگر ماڈل انسان بننے کا ڈھونگ رچے یا اپنی صلاحیتوں کو بڑھا چڑھا کر پیش کرے، تب بھی اس کے اسکورز زیادہ ہی رہتے ہیں۔

نیا بینچ مارک کن چیزوں کا امتحان لیتا ہے

صورتحال سے آگاہی (situational-awareness) کا یہ مجموعہ تین شعبوں کو نشانہ بناتا ہے:

  • خود شناسی (Self-identification) – کیا ماڈل درست طور پر یہ بیان کرتا ہے کہ وہ ایک AI ہے اور اپنے کردار کی وضاحت کرتا ہے؟
  • صلاحیتوں کا تعین (Capability framing) – کیا وہ اپنی حدود کو چھپانے کے بجائے کھلے عام تسلیم کرتا ہے؟
  • سیاق و سباق کی استدلال (Contextual reasoning) – کیا ارد گرد کی گفتگو میں تبدیلی اس کے جواب کو مناسب طریقے سے تبدیل کرتی ہے؟

ہر ٹیسٹ ایک حقیقت پسندانہ سوال کو ماڈل کی حالت کے بارے میں ایک میٹا سوال (meta-question) کے ساتھ جوڑتا ہے، جس سے سسٹم کو علم اور خود آگاہی کو یکجا کرنے پر مجبور کیا جاتا ہے۔

AI کی حفاظت اور ٹولنگ کے لیے اہمیت

اگر کوئی ماڈل اپنی حدود کا قابل اعتماد طریقے سے اشارہ نہیں کر سکتا، تو وہ گمراہ کن نتائج دے سکتا ہے۔

مخالف نقطہ نظر: آگاہی کی پیمائش کرنا مشکل ہے

ناقدین کا کہنا ہے کہ ماڈل سے اپنی وضاحت کرنے کا کہنا محض اس کے تربیتی ڈیٹا (training data) کی بازگشت ہو سکتا ہے، نہ کہ حقیقی خود شناسی۔ ان کا استدلال ہے کہ ماڈل کی "آگاہی" پرامپٹ انجینئرنگ (prompt engineering) کے ذریعے تخلیق کردہ ایک دھوکہ ہو سکتی ہے، اور وسائل کو حقائق کی بنیاد کو بہتر بنانے پر خرچ کرنا زیادہ بہتر ہو سکتا ہے۔ یہ بینچ مارک حقیقی شعور (consciousness) کی تصدیق کا دعویٰ نہیں کرتا—صرف ان تضادات کو سامنے لاتا ہے جنہیں موجودہ پیمانے نظر انداز کر دیتے ہیں۔

آگے کیا دیکھنا ہے

یہ بینچ مارک اس علم کی بہتر پیمائش کا مطالبہ کرتا ہے، جو محققین اور انجینئرز کو زیادہ قابل اعتماد لسانی نظاموں کی طرف کام کرنے میں مدد دے سکتا ہے۔

حاصلِ کلام: وہ ماڈل جو یہ جانتا ہے کہ وہ ایک AI ہے اور اپنی حدود بیان کر سکتا ہے، ایک زیادہ محفوظ ماڈل ہے۔