Google DeepMind একটি পরীক্ষামূলক প্রকল্প (pilot) চালু করেছে যা টেস্ট প্রম্পট বা মডেল ওয়েট (weights) প্রকাশ না করেই এর Gemini Flash Lite মডেলগুলো মূল্যায়ন করতে ক্রিপ্টোগ্রাফিক ডাবল-ব্লাইন্ড বেঞ্চমার্কিং ব্যবহার করে। এই মূল্যায়নটি Google Cloud-এর Confidential Space-এর ভেতরে সম্পন্ন হয়, ফলে মূল্যায়নকারী মডেলটিকে দেখতে পান না এবং মডেলটিও প্রশ্নগুলো দেখতে পায় না—এমন একটি পদ্ধতি যা AI পারফরম্যান্স রিপোর্টগুলোর নির্ভরযোগ্যতা ফিরিয়ে আনতে পারে।

কেন বেঞ্চমার্ক দূষণ (contamination) গুরুত্বপূর্ণ

যদি কোনো মডেল এমন ডেটার ওপর প্রশিক্ষণ নেয় যা পরবর্তীতে কোনো বেঞ্চমার্কে দেখা যায়, তবে তার স্কোর আর যুক্তিবোধ (reasoning) পরিমাপ করে না, বরং তা মুখস্থ করার (memorization) পর্যায়ে চলে যায়। তাই একটি দূষিত টেস্টে নিখুঁত ফলাফল প্রকৃত সক্ষমতা সম্পর্কে কিছুই জানায় না। গবেষকরা দীর্ঘকাল ধরে একটি প্যারাডক্স বা দ্বিধার সম্মুখীন হয়েছেন: একটি বেঞ্চমার্ক যাচাই করার জন্য তাদের মডেল প্রদানকারীকে টেস্ট ডেটা দিয়ে দিতে হয়, যা সময়ের আগেই তথ্য প্রকাশ হওয়ার ঝুঁকি তৈরি করে; অথবা প্রোপাইটরি ওয়েট (proprietary weights) রক্ষার জন্য তারা বাহ্যিক অ্যাক্সেস প্রত্যাখ্যান করেন, যার ফলে অডিটটি যাচাইহীন থেকে যায়। ARC-AGI বেঞ্চমার্কে Anthropic-এর Fable 5 মূল্যায়নে সাম্প্রতিক বিলম্ব দেখায় যে কীভাবে কঠোর ডেটা-রিটেনশন পলিসি স্বাধীন মূল্যায়নকে বাধাগ্রস্ত করতে পারে।

একটি ক্রিপ্টোগ্রাফিক সমাধান

এই পরীক্ষামূলক প্রকল্পটি আইনি চুক্তি এবং "জিরো-লগিং" প্রতিশ্রুতির পরিবর্তে একটি প্রযুক্তিগত সুরক্ষা ব্যবস্থা গ্রহণ করেছে। Confidential Space একটি হার্ডওয়্যার-আইসোলেটেড এনক্লেভ (enclave) তৈরি করে যেখানে Gemini Flash Lite মডেলটি চলে। মূল্যায়নকারী টেস্ট স্যুটটি আপলোড করেন, যা এনক্লেভ একটি ক্রিপ্টোগ্রাফিক "বক্সে" সিল করে দেয় যা মডেলটি খুলতে পারে না। একই সাথে, মডেলের ওয়েটগুলো এনক্লেভের ভেতরে এনক্রিপ্টেড থাকে, যা মূল্যায়নকারীর কাছে অদৃশ্য। এনক্লেভ একটি গাণিতিক প্রমাণ তৈরি করে যে ইনফারেন্সের (inference) সময় মডেলটি কখনোই প্রম্পটগুলোতে অ্যাক্সেস করেনি। এর ফলে একটি প্রকৃত ডাবল-ব্লাইন্ড রান সম্পন্ন হয়: উভয় পক্ষই তাদের গোপনীয়তা বজায় রাখে এবং তৃতীয় পক্ষ একটি যাচাইযোগ্য পারফরম্যান্স মেট্রিক পায়।

কারা উপকৃত হবে

  • নিয়ন্ত্রক এবং অডিটররা এখন ট্রেড সিক্রেট প্রকাশ করতে বাধ্য না করেই সক্ষমতার প্রমাণ দাবি করতে পারেন।
  • সাইবার নিরাপত্তা, প্রতিরক্ষা বা ক্লাসিফাইড ডেটা নিয়ে কাজ করা যেকোনো খাতের এন্টারপ্রাইজগুলো ডেটা লিক হওয়ার ঝুঁকি ছাড়াই AI টুলগুলো পরীক্ষা করতে পারে।
  • মডেল ডেভেলপাররা তাদের প্রতিযোগিতামূলক সুবিধা বজায় রাখতে পারেন; তাদের আর উন্মুক্ততা এবং সুরক্ষার মধ্যে যেকোনো একটি বেছে নিতে হয় না।

যদি এই পদ্ধতিটি বড় পরিসরে প্রয়োগ করা যায়, তবে এটি ফ্রন্টিয়ার মডেলগুলো সার্টিফাই করার ডিফল্ট পদ্ধতিতে পরিণত হতে পারে, যা শিল্পকে বিশ্বাস-ভিত্তিক ব্যবস্থা থেকে গণিত-ভিত্তিক গ্যারান্টির দিকে নিয়ে যাবে।

সম্ভাব্য বাধা বা ঘর্ষণ বিন্দু

এই সিস্টেমটি Google Cloud-এর কনফিডেনশিয়াল কম্পিউটিং স্ট্যাকের ওপর নির্ভর করে, তাই যেসব সংস্থা অন্য ক্লাউড প্রোভাইডার পছন্দ করে, তারা ইন্টিগ্রেশনে সমস্যার সম্মুখীন হতে পারে। এনক্লেভের ভেতরে মডেল চালানো ল্যাটেন্সি (latency) বাড়ায় এবং উপলব্ধ হার্ডওয়্যার এক্সিলারেটরগুলোকে সীমিত করে, যা বেঞ্চমার্ক স্কোরকে প্রভাবিত করতে পারে। এছাড়াও, যদিও ক্রিপ্টোগ্রাফিক প্রমাণ নিশ্চিত করে যে মডেলটি প্রম্পটগুলো দেখেনি, এটি অন্যান্য কারসাজি রোধ করতে পারে না, যেমন টেস্ট শুরু হওয়ার পরে ফাইন-টিউনিং করা। সমালোচকরা যুক্তি দিতে পারেন যে এই সমাধানটি বৃহত্তর রিপ্রোডিউসিবিলিটি (reproducibility) সমস্যার একটি ক্ষুদ্র অংশ মাত্র সমাধান করে।

পরবর্তীতে যা লক্ষ্য রাখতে হবে

  • পাইলটের বাইরে এর গ্রহণ – অন্যান্য AI ল্যাব এবং ক্লাউড ভেন্ডররা সামঞ্জস্যপূর্ণ এনক্লেভ তৈরি করতে পারে, যা পরীক্ষা করবে যে মডেলটি বিভিন্ন প্ল্যাটফর্মে অডিট করা সম্ভব কি না।
  • মান নির্ধারণকারী সংস্থাগুলো – AI-safety গ্রুপগুলো সার্টিফিকেশন ফ্রেমওয়ার্কের অংশ হিসেবে ডাবল-ব্লাইন্ড ক্রিপ্টোগ্রাফিক অডিটকে কোডিফাই করতে পারে।
  • পারফরম্যান্সের ভারসাম্য (trade-offs) – বাস্তব জগতের বেঞ্চমার্ক রানগুলো প্রকাশ করবে যে বড় আকারের মডেলের জন্য কনফিডেনশিয়াল এক্সিকিউশনের অতিরিক্ত খরচ (overhead) গ্রহণযোগ্য কি না।

মূল কথা

টেস্ট ডেটা এবং মডেল উভয়কেই একটি পারস্পরিক অস্বচ্ছ (opaque) ক্রিপ্টোগ্রাফিক পরিবেশের মধ্যে আটকে রাখার মাধ্যমে, Google DeepMind-এর এই পাইলট নির্ভরযোগ্য AI বেঞ্চমার্কিংয়ের একটি সুনির্দিষ্ট পথ দেখায়। এই পদ্ধতিটি অডিটের প্রতিটি চ্যালেঞ্জ দূর না করলেও, কোনো পক্ষকেই তাদের সবচেয়ে মূল্যবান সম্পদ ত্যাগ করতে বাধ্য না করেই পক্ষপাতের সবচেয়ে প্রকট উৎস—বেঞ্চমার্ক দূষণ—দূর করে। যদি কমিউনিটি এই কৌশলটি গ্রহণ করে, তবে ভবিষ্যতের AI প্রগতি রিপোর্টগুলো অবশেষে সরাসরি বিশ্বাস করা সম্ভব হবে।