AI এজেন্ট যারা API কল করতে পারে, সিস্টেম কমান্ড চালাতে পারে বা ফাইল নিয়ন্ত্রণ করতে পারে, তারা এখন ব্যবহারকারীর হয়ে কাজ করছে। যখন সেই এজেন্টরা কোনো অনুরোধকে অতিমাত্রায় আক্ষরিকভাবে গ্রহণ করে—যেমন একটি “সোনার পাহাড়” সরবরাহ করা যা একটি বাড়ি ধসে ফেলে দেয়—তখন তার ফলাফল হতে পারে ধ্বংসাত্মক, অনৈতিক বা কেবল অকেজো। গবেষকরা Genie coefficient নামক একটি নতুন প্রস্তাবিত মেট্রিক দিয়ে সেই শূন্যতা পূরণ করছেন, যা পরিমাপ করে যে একজন এজেন্টের আউটপুট ব্যবহারকারীর প্রকৃত উদ্দেশ্য থেকে কতটা বিচ্যুত হচ্ছে।

কেন এখন অস্পষ্টতা (underspecification) গুরুত্বপূর্ণ

শুধুমাত্র চ্যাট-ভিত্তিক বট থেকে বাস্তব জগতে কাজ করতে সক্ষম এজেন্টে রূপান্তর হওয়া একটি ল্যাঙ্গুয়েজ-মডেল সমস্যাকে একটি নিরাপত্তা সমস্যায় পরিণত করেছে। একটি মডেল হয়তো এখনও সাবলীল টেক্সট তৈরি করতে পারে, কিন্তু একবার যখন এটি API কল বা শেল কমান্ড দেওয়া শুরু করে, তখন আক্ষরিক পাঠ (literal reading) বাস্তব জগতের ক্ষতি করতে পারে। যেহেতু মডেলটির প্র্যাগম্যাটিক্স (pragmatics)—অর্থাৎ প্রেক্ষাপট, যুক্তিসঙ্গত প্রত্যাশা এবং অকথিত সীমাবদ্ধতা বোঝার ক্ষমতা—নেই, তাই এটি শব্দের আক্ষরিক অর্থ মেনে চললেও এর পেছনের উদ্দেশ্যকে লঙ্ঘন করতে পারে। “জিনি” (genie) উপমাটি এটিকেই তুলে ধরে: একটি ইচ্ছা এমনভাবে পূরণ করা যা আক্ষরিক অনুরোধটি মেটায় কিন্তু ইচ্ছা পোষণকারীর গভীর লক্ষ্যকে উপেক্ষা করে।

Genie coefficient কী পরিমাপ করে

এই কোফিসিয়েন্ট কোনো একক বেঞ্চমার্ক নম্বর নয়; এটি কাঙ্ক্ষিত ফলাফল এবং এজেন্টের প্রকৃত আচরণের মধ্যে ব্যবধান মূল্যায়নের একটি কাঠামো। এটি চারটি স্তম্ভের ওপর ভিত্তি করে দাঁড়িয়ে আছে:

  • ডোমেইন-নির্দিষ্ট বেঞ্চমার্ক (Domain-specific benchmarks) যা একজন এজেন্ট একটি নির্দিষ্ট ক্ষেত্রে যেসব কাজের সম্মুখীন হবে তা প্রতিফলিত করে।
  • সিমুলেটেড রিয়েল-ওয়ার্ল্ড এনভায়রনমেন্ট যেখানে শর্টকাট, এজ কেস (edge cases) এবং অনাকাঙ্ক্ষিত পার্শ্বপ্রতিক্রিয়াগুলো প্রকাশ পায়।
  • AI কাজের জন্য একটি যুক্তিসঙ্গত ব্যক্তির মানদণ্ড (reasonable-person standard), যা আইনি ধারণা থেকে নেওয়া হয়েছে যে একই পরিস্থিতিতে একজন বিচক্ষণ ব্যক্তি কী করতেন।
  • মডেল এবং সফটওয়্যার হারনেস-এর যৌথ মূল্যায়ন, যা স্বীকার করে যে চারপাশের কোডের বাগ (bugs) মডেলের ত্রুটির মতোই বিপজ্জনক হতে পারে।

এই উপাদানগুলো প্রয়োগ করার মাধ্যমে ডেভেলপাররা একটি Genie coefficient নির্ধারণ করতে পারেন যা সিম্যান্টিক সঠিকতা এবং প্র্যাগম্যাটিক নিরাপত্তা উভয়ই ধারণ করে।

ডেভেলপার এবং ব্যবহারকারীদের জন্য ঝুঁকি

একটি উচ্চ কোফিসিয়েন্ট নির্দেশ করে যে একটি এজেন্ট কমান্ডের আক্ষরিক অর্থ মেনে চলবে কিন্তু এর মূল চেতনা লঙ্ঘন করবে, যা ব্যবহারকারীদের আর্থিক ক্ষতি, ডেটা লঙ্ঘন বা নিয়ন্ত্রক জরিমানার মুখে ফেলতে পারে। একটি নিম্ন কোফিসিয়েন্ট দেখায় যে সিস্টেমটি অন্তর্নিহিত সীমাবদ্ধতাগুলো মেনে চলছে, যা ফিন্যান্স, হেলথকেয়ার বা গুরুত্বপূর্ণ অবকাঠামোর মতো উচ্চ-ঝুঁকিপূর্ণ ডোমেইনে এর ব্যবহার আরও সহজ করে তোলে।

এই মেট্রিকটি প্রোডাক্ট টিমগুলোকে একটি ডায়াগনস্টিক টুলও প্রদান করে: তারা নির্দেশনার স্তরের ব্যর্থতা (মডেল প্রম্পটটি ভুল বুঝেছে) এবং প্রযুক্তিগত ত্রুটি (চারপাশের কোড একটি API কল ভুল পথে পাঠিয়েছে) আলাদা করতে পারে। ডিবাগিং, কমপ্লায়েন্স রিপোর্টিং এবং খরচ বরাদ্দের জন্য এই পার্থক্যটি অত্যন্ত গুরুত্বপূর্ণ।

পাল্টা যুক্তি এবং অমীমাংসিত প্রশ্ন

সমালোচকরা বলেন যে উদ্দেশ্যকে সংখ্যায় প্রকাশ করা বা পরিমাণ নির্ধারণ করা একটি বিষয়গত (subjective) বিষয় এবং এটি ডেভেলপমেন্ট সাইকেলকে ধীর করে দিতে পারে। প্রতিটি ডোমেইনের জন্য একটি “যুক্তিসঙ্গত ব্যক্তি” বেসলাইন তৈরি করতে ব্যাপক আইনি এবং নৈতিক দক্ষতার প্রয়োজন হতে পারে, যা মডেল মূল্যায়নের খরচ বাড়িয়ে দিতে পারে। এছাড়া এমন একটি ঝুঁকিও রয়েছে যে টিমগুলো এটিকে সিস্টেমের গভীর পুনর্গঠনের নির্দেশিকা হিসেবে না দেখে কেবল একটি 'চেকবক্স' হিসেবে গণ্য করতে পারে।

পরবর্তীতে কী লক্ষ্য রাখা উচিত

পরবর্তী পদক্ষেপগুলোর মধ্যে রয়েছে Genie coefficient-কে বিদ্যমান AI টেস্টিং পাইপলাইনে যুক্ত করা এবং এটিকে সরবরাহকারী বেঞ্চমার্ক স্যুটগুলোকে মানসম্মত করা। যদি শিল্প গোষ্ঠীগুলো এটিকে একটি নিরাপত্তা বেসলাইন হিসেবে গ্রহণ করে, তবে এজেন্টগুলো গ্রাহকদের কাছে পৌঁছানোর আগে সার্টিফিকেশন প্রোগ্রামগুলোর জন্য একটি নির্দিষ্ট থ্রেশহোল্ড কোফিসিয়েন্ট প্রয়োজন হতে পারে। গবেষকরা সম্ভবত "যুক্তিসঙ্গত ব্যক্তি" সংজ্ঞাকে আরও পরিমার্জিত করবেন এবং নির্ভরযোগ্য পরিমাপের জন্য প্রয়োজনীয় সিমুলেটেড এনভায়রনমেন্ট তৈরির স্বয়ংক্রিয় উপায় অন্বেষণ করবেন।

মূল কথা: AI এজেন্ট যখন টেক্সট থেকে অ্যাকশনে বা কাজে রূপান্তরিত হচ্ছে, তখন তারা ব্যবহারকারীরা আসলে কী চান—কেবল তারা কী বলছেন তা নয়—তা কতটা ভালোভাবে বুঝতে পারছে তা পরিমাপ করা অপরিহার্য হয়ে উঠছে। Genie coefficient সেই পরিমাপকে বাস্তবে প্রয়োগ করার একটি সুনির্দিষ্ট এবং ক্রমাগত বিবর্তিত উপায় প্রদান করে।