Google DeepMind ने एक प्रायोगिक प्रकल्प (pilot) सुरू केला आहे, जो टेस्ट प्रॉम्प्ट्स किंवा मॉडेल वेट्स (weights) उघड न करता त्याच्या Gemini Flash Lite मॉडेल्सचे मूल्यमापन करण्यासाठी क्रिप्टोग्राफिक डबल-ब्लाईंड बेंचमार्किंगचा वापर करतो. हे मूल्यमापन Google Cloud च्या Confidential Space मध्ये चालते, त्यामुळे मूल्यमापन करणारी व्यक्ती मॉडेल पाहू शकत नाही आणि मॉडेलला प्रश्न दिसत नाहीत—हा असा एक दृष्टिकोन आहे जो AI कामगिरीच्या अहवालांची विश्वासार्हता पुन्हा प्रस्थापित करू शकतो.

बेंचमार्क दूषित होणे (Benchmark contamination) का महत्त्वाचे आहे

जर एखादे मॉडेल अशा डेटावर प्रशिक्षित झाले जो नंतर बेंचमार्कमध्ये येतो, तर त्याचा स्कोअर तर्कशक्ती (reasoning) मोजण्याऐवजी केवळ पाठांतर (memorization) मोजू लागतो. त्यामुळे दूषित चाचणीतील परिपूर्ण निकाल मॉडेलच्या खऱ्या क्षमतेबद्दल काहीही सांगत नाही. संशोधकांना दीर्घकाळापासून एका विरोधाभावाचा सामना करावा लागत आहे: बेंचमार्क सत्यापित करण्यासाठी त्यांना मॉडेल पुरवठादाराला टेस्ट डेटा द्यावा लागतो, ज्यामुळे माहिती लवकर उघड होण्याचा धोका असतो, किंवा मालकी हक्क असलेल्या वेट्सचे संरक्षण करण्यासाठी ते बाह्य प्रवेश नाकारतात, ज्यामुळे ऑडिट अपुरे राहते. ARC-AGI बेंचमार्कवर Anthropic च्या Fable 5 च्या मूल्यमापनात झालेला अलीकडील विलंब हे दर्शवतो की कडक डेटा-रिटेंशन धोरणे स्वतंत्र मूल्यमापनात कशी अडथळा आणू शकतात.

एक क्रिप्टोग्राफिक उपाय

हा प्रायोगिक प्रकल्प कायदेशीर करार आणि “झिरो-लॉगिंग” आश्वासनांच्या जागी तांत्रिक सुरक्षा उपाय आणतो. Confidential Space एक हार्डवेअर-आयसोलेटेड एन्क्लेव्ह (enclave) तयार करते, ज्यामध्ये Gemini Flash Lite मॉडेल चालवले जाते. मूल्यमापन करणारी व्यक्ती टेस्ट सूट अपलोड करते, जो एन्क्लेव्ह एका क्रिप्टोग्राफिक “बॉक्स” मध्ये सील करतो जो मॉडेल उघडू शकत नाही. त्याच वेळी, मॉडेलचे वेट्स एन्क्लेव्हच्या आत एनक्रिप्टेड राहतात, जे मूल्यमापन करणाऱ्या व्यक्तीला दिसत नाहीत. इन्फरन्स (inference) दरम्यान मॉडेलने प्रॉम्प्ट्सचा वापर केला नाही, याचा गणितीय पुरावा एन्क्लेव्ह तयार करते. याचा परिणाम म्हणजे खऱ्या अर्थाने 'डबल-ब्लाईंड' रन होतो: दोन्ही बाजू त्यांची गुपिते सुरक्षित ठेवतात आणि तिसऱ्या पक्षाला पडताळण्यायोग्य कामगिरीचे मोजमाप (metric) मिळते.

कोणाला फायदा होऊ शकतो

  • नियामक आणि ऑडिटर्स आता पुरवठादारांना व्यावसायिक गुपिते उघड करण्यास भाग न पाडता क्षमतेचा पुरावा मागवू शकतात.
  • सायबर सुरक्षा, संरक्षण किंवा वर्गीकृत डेटा हाताळणाऱ्या क्षेत्रातील उद्योग डेटा गळतीचा धोका न पत्करता AI टूल्सची चाचणी घेऊ शकतात.
  • मॉडेल डेव्हलपर्स आपली स्पर्धात्मकता टिकवून ठेवू शकतात; त्यांना आता पारदर्शकता आणि संरक्षण यांपैकी एकाची निवड करण्याची गरज नाही.

जर हा दृष्टिकोन मोठ्या प्रमाणावर राबवला गेला, तर तो फ्रंटियर मॉडेल्स प्रमाणित करण्यासाठी डीफॉल्ट पद्धत बनू शकतो, ज्यामुळे उद्योग विश्वासावर आधारित व्यवहारांकडून गणितीय हमींकडे वळू शकतो.

संभाव्य अडथळे

ही प्रणाली Google Cloud च्या कॉन्फिडेंशियल कम्प्युटिंग स्टॅकवर अवलंबून आहे, त्यामुळे इतर क्लाउड प्रदात्यांना पसंती देणाऱ्या संस्थांना इंटिग्रेशनमध्ये अडचणी येऊ शकतात. एन्क्लेव्हमध्ये मॉडेल्स चालवल्यामुळे लॅटन्सी (latency) वाढते आणि उपलब्ध हार्डवेअर अ‍ॅक्सिलरेटर्सवर मर्यादा येतात, ज्याचा बेंचमार्क स्कोअरवर परिणाम होऊ शकतो. तसेच, जरी क्रिप्टोग्राफिक पुरावा मॉडेलने प्रॉम्प्ट्स पाहिले नाहीत याची खात्री देत असला, तरी तो चाचणी सुरू झाल्यानंतर होणाऱ्या 'फाईन-ट्यूनिंग' सारख्या इतर फेरफार रोखू शकत नाही. टीकाकारांचे म्हणणे असू शकते की हा उपाय व्यापक पुनरुत्पादकता (reproducibility) समस्येचा केवळ एक छोटा भाग सोडवतो.

पुढे काय पाहावे

  • प्रायोगिक प्रकल्पापलीकडे अवलंबन – इतर AI लॅब्स आणि क्लाउड विक्रेते सुसंगत एन्क्लेव्ह तयार करू शकतात, ज्यामुळे मॉडेल विविध प्लॅटफॉर्मवर ऑडिट केले जाऊ शकते की नाही याची चाचणी होईल.
  • मानक ठरवणारे घटक (Standard-setting bodies) – AI-सुरक्षा गट प्रमाणन फ्रेमवर्कचा भाग म्हणून 'डबल-ब्लाईंड क्रिप्टोग्राफिक ऑडिट' संहिताबद्ध करू शकतात.
  • कामगिरीतील तडजोड (Performance trade-offs) – वास्तविक जगातील बेंचमार्क रनवरून हे स्पष्ट होईल की मोठ्या प्रमाणावरील मॉडेल्ससाठी कॉन्फिडेंशियल एक्झिक्यूशनचा अतिरिक्त भार (overhead) स्वीकारार्ह आहे की नाही.

थोडक्यात

टेस्ट डेटा आणि मॉडेल या दोन्ही गोष्टी परस्पर अपारदर्शक क्रिप्टोग्राफिक वातावरणात लॉक करून, Google DeepMind चा प्रायोगिक प्रकल्प विश्वासार्ह AI बेंचमार्किंगसाठी एक ठोस मार्ग प्रदान करतो. ही पद्धत ऑडिटमधील सर्व आव्हाने दूर करत नाही, परंतु कोणत्याही पक्षाला त्यांची सर्वात मौल्यवान मालमत्ता सोपवण्यास भाग न पाडता, पक्षपाताचा सर्वात मोठा स्रोत—बेंचमार्क दूषित होणे—दूर करते. जर समुदायाने या तंत्राचा स्वीकार केला, तर भविष्यातील AI प्रगती अहवाल अखेर त्यांच्या मूळ स्वरूपात स्वीकारले जाऊ शकतात.