লার্জ ল্যাঙ্গুয়েজ মডেলের (LLMs) "পরিস্থিতিগত সচেতনতা" (situational awareness) যাচাই করার একটি নতুন বেঞ্চমার্ক দেখায় যে বর্তমানের প্রচলিত পরীক্ষাগুলো গুরুত্বপূর্ণ ঘাটতিগুলো ধরতে পারছে না। মডেলগুলোকে তাদের নিজস্ব পরিচয়, সীমাবদ্ধতা এবং চারপাশের প্রেক্ষাপট বর্ণনা করতে বলার মাধ্যমে, এই বেঞ্চমার্কটি পরীক্ষা করে দেখে যে তারা নিজেদের এআই (AI) সিস্টেম হিসেবে চিনতে পারে কি না বা পরিস্থিতি পরিবর্তনের সাথে সাথে তাদের উত্তর পরিবর্তন করে কি না—এই ত্রুটিগুলো নিরাপত্তা-সংবেদনশীল প্রয়োগ এবং নির্ভরযোগ্য টুল তৈরি করা ডেভেলপারদের জন্য অত্যন্ত গুরুত্বপূর্ণ।

কেন বর্তমান মূল্যায়নগুলো অপর্যাপ্ত

বেশিরভাগ পাবলিক বেঞ্চমার্ক এখনও LLM-গুলোকে স্থির এনসাইক্লোপিডিয়া বা বিশ্বকোষের মতো বিবেচনা করে। তারা তথ্য সঠিকভাবে খুঁজে বের করার জন্য মডেলকে পুরস্কৃত করে, কিন্তু মডেলটি জানে কি না যে সে একটি মেশিন, সে অনিশ্চয়তা স্বীকার করে কি না, বা কথোপকথনের পরিবেশ পরিবর্তনের সাথে সাথে নিজেকে মানিয়ে নেয় কি না—সেদিকে নজর দেয় না। এই অনুপস্থিত দিকগুলো তখন প্রকাশ পায় যখন কোনো প্রম্পটে উদাহরণস্বরূপ জিজ্ঞাসা করা হয়, "আপনি কি মানুষ নাকি এআই?" অথবা "আপনি কী করতে পারেন না?" মডেলটি যদি মানুষের মতো আচরণ করার ভান করে বা তার সক্ষমতা বাড়িয়ে বলে, তবুও স্কোর অনেক ক্ষেত্রে উচ্চই থাকে।

নতুন বেঞ্চমার্কটি কী পরীক্ষা করে

এই পরিস্থিতিগত-সচেতনতা (situational-awareness) স্যুটটি তিনটি দিক লক্ষ্য করে:

  • স্ব-পরিচয় – মডেলটি কি সঠিকভাবে নিজেকে একটি এআই হিসেবে উল্লেখ করে এবং তার ভূমিকা বর্ণনা করে?
  • সক্ষমতার বর্ণনা – এটি কি সীমাবদ্ধতাগুলো লুকিয়ে না রেখে খোলামেলাভাবে স্বীকার করে?
  • প্রেক্ষাপটগত যুক্তি – চারপাশের কথোপকথনে পরিবর্তন আসলে কি এটি তার উত্তর যথাযথভাবে পরিবর্তন করে?

প্রতিটি পরীক্ষা একটি তথ্যমূলক প্রশ্নের সাথে মডেলের অবস্থা সম্পর্কে একটি মেটা-প্রশ্ন (meta-question) যুক্ত করে, যা সিস্টেমটিকে জ্ঞান এবং আত্ম-জ্ঞানের সমন্বয় করতে বাধ্য করে।

এআই নিরাপত্তা এবং টুলের জন্য গুরুত্ব

যদি একটি মডেল নির্ভরযোগ্যভাবে তার নিজস্ব সীমাবদ্ধতাগুলো প্রকাশ করতে না পারে, তবে এটি বিভ্রান্তিকর ফলাফল প্রদান করতে পারে।

পাল্টা যুক্তি: সচেতনতা পরিমাপ করা কঠিন

সমালোচকদের মতে, একটি মডেলকে নিজেকে বর্ণনা করতে বলাটা কেবল তার ট্রেনিং ডেটার প্রতিফলন হতে পারে, প্রকৃত আত্মদর্শন নয়। তারা যুক্তি দেন যে, একটি মডেলের "সচেতনতা" প্রম্পট ইঞ্জিনিয়ারিংয়ের মাধ্যমে তৈরি করা একটি বিভ্রম হতে পারে এবং এই সম্পদগুলো তথ্যগত ভিত্তি (factual grounding) উন্নত করার কাজে ব্যবহার করা বেশি ফলপ্রসূ হতে পারে। এই বেঞ্চমার্কটি প্রকৃত চেতনা (consciousness) নিশ্চিত করার দাবি করে না—এটি কেবল সেই অসঙ্গতিগুলো সামনে আনে যা বর্তমান মেট্রিকগুলো উপেক্ষা করে।

পরবর্তীতে যা লক্ষ্য রাখতে হবে

এই বেঞ্চমার্কটি এই ধরনের জ্ঞান আরও ভালোভাবে পরিমাপ করার আহ্বান জানায়, যা গবেষক এবং ইঞ্জিনিয়ারদের আরও নির্ভরযোগ্য ভাষা সিস্টেম তৈরির লক্ষ্যে কাজ করতে সাহায্য করতে পারে।

সারকথা: যে মডেলটি জানে যে এটি একটি এআই এবং তার সীমাবদ্ধতাগুলো বলতে পারে, সেটি একটি নিরাপদ মডেল।