Google DeepMind ने एक पायलट प्रोजेक्ट शुरू किया है जो टेस्ट प्रॉम्प्ट्स या मॉडल वेट्स को उजागर किए बिना अपने Gemini Flash Lite मॉडल्स का मूल्यांकन करने के लिए क्रिप्टोग्राफिक डबल-ब्लाइंड बेंचमार्किंग का उपयोग करता है। यह मूल्यांकन Google Cloud के Confidential Space के भीतर चलता है, इसलिए मूल्यांकनकर्ता मॉडल को कभी नहीं देख पाता और मॉडल कभी भी सवालों को नहीं देख पाता—एक ऐसा दृष्टिकोण जो AI प्रदर्शन रिपोर्टों की विश्वसनीयता को बहाल कर सकता है।

बेंचमार्क संदूषण (contamination) क्यों मायने रखता है

यदि कोई मॉडल उस डेटा पर प्रशिक्षित होता है जो बाद में किसी बेंचमार्क में दिखाई देता है, तो उसका स्कोर तर्कशक्ति को मापने के बजाय रटने (memorization) को मापने लगता है। इसलिए, संदूषित (contaminated) टेस्ट पर एक सटीक परिणाम वास्तविक क्षमता के बारे में कुछ नहीं बताता। शोधकर्ताओं को लंबे समय से एक विरोधाभास का सामना करना पड़ रहा है: बेंचमार्क को सत्यापित करने के लिए उन्हें मॉडल प्रदाता को टेस्ट डेटा सौंपना पड़ता है, जिससे समय से पहले डेटा उजागर होने का जोखिम रहता है, या उन्हें मालिकाना वेट्स की सुरक्षा के लिए बाहरी पहुंच से इनकार करना पड़ता है, जिससे ऑडिट अपुष्ट रह जाता है। ARC-AGI बेंचमार्क पर Anthropic के Fable 5 के मूल्यांकन में हालिया देरी यह दर्शाती है कि सख्त डेटा-रिटेंशन नीतियां स्वतंत्र मूल्यांकन को कैसे बाधित कर सकती हैं।

एक क्रिप्टोग्राफिक समाधान

यह पायलट कानूनी अनुबंधों और "जीरो-लॉगिंग" के वादों के स्थान पर एक तकनीकी सुरक्षा कवच का उपयोग करता है। Confidential Space एक हार्डवेयर-आइसोलेटेड एनक्लेव बनाता है जो Gemini Flash Lite मॉडल को चलाता है। मूल्यांकनकर्ता टेस्ट सूट अपलोड करता है, जिसे एनक्लेव एक क्रिप्टोग्राफिक "बॉक्स" में सील कर देता है जिसे मॉडल खोल नहीं सकता। साथ ही, मॉडल के वेट्स एनक्लेव के भीतर एन्क्रिप्टेड रहते हैं, जो मूल्यांकनकर्ता के लिए अदृश्य होते हैं। एनक्लेव एक गणितीय प्रमाण उत्पन्न करता है कि मॉडल ने इन्फरेंस के दौरान प्रॉम्प्ट्स तक कभी पहुंच नहीं बनाई। इसका परिणाम वास्तव में एक डबल-ब्लाइंड रन है: दोनों पक्ष अपने रहस्य सुरक्षित रखते हैं जबकि एक तीसरा पक्ष सत्यापन योग्य प्रदर्शन मेट्रिक प्राप्त करता है।

किसे लाभ होगा

  • नियामक और ऑडिटर अब ट्रेड सीक्रेट्स उजागर करने के लिए प्रदाताओं को मजबूर किए बिना क्षमता के प्रमाण की मांग कर सकते हैं।
  • साइबर सुरक्षा, रक्षा, या वर्गीकृत डेटा संभालने वाले किसी भी क्षेत्र के उद्यम डेटा लीक होने के जोखिम के बिना AI टूल्स का परीक्षण कर सकते हैं।
  • मॉडल डेवलपर्स अपनी प्रतिस्पर्धात्मक बढ़त बनाए रखते हैं; उन्हें अब खुलेपन और सुरक्षा के बीच किसी एक को चुनने की आवश्यकता नहीं है।

यदि यह दृष्टिकोण बड़े पैमाने पर लागू होता है, तो यह फ्रंटियर मॉडल्स को प्रमाणित करने का डिफॉल्ट तरीका बन सकता है, जिससे उद्योग विश्वास-आधारित व्यवस्थाओं से गणित-आधारित गारंटियों की ओर बढ़ सकता है।

संभावित घर्षण बिंदु (friction points)

यह सिस्टम Google Cloud के कॉन्फिडेंशियल कंप्यूटिंग स्टैक पर निर्भर करता है, इसलिए जो संगठन अन्य क्लाउड प्रदाताओं को प्राथमिकता देते हैं, उन्हें एकीकरण की बाधाओं का सामना करना पड़ सकता है। एनक्लेव के भीतर मॉडल चलाने से लैटेंसी बढ़ती है और उपलब्ध हार्डवेयर एक्सेलेरेटर्स सीमित हो जाते हैं, जो बेंचमार्क स्कोर को प्रभावित कर सकते हैं। इसके अलावा, हालांकि क्रिप्टोग्राफिक प्रमाण यह गारंटी देता है कि मॉडल ने प्रॉम्प्ट्स को नहीं देखा, लेकिन यह अन्य हेरफेर को नहीं रोकता है, जैसे कि टेस्ट शुरू होने के बाद फाइन-ट्यूनिंग करना। आलोचकों का तर्क हो सकता है कि यह समाधान व्यापक पुनरुत्पादकता (reproducibility) की समस्या के केवल एक छोटे हिस्से को संबोधित करता है।

आगे क्या देखें

  • पायलट से परे अपनाना – अन्य AI लैब्स और क्लाउड वेंडर्स संगत एनक्लेव बना सकते हैं, जिससे यह परीक्षण होगा कि क्या मॉडल को विभिन्न प्लेटफार्मों पर ऑडिट किया जा सकता है।
  • मानक निर्धारित करने वाली संस्थाएं – AI-सेफ्टी समूह प्रमाणन ढांचे के हिस्से के रूप में डबल-ब्लाइंड क्रिप्टोग्राफिक ऑडिट को संहिताबद्ध कर सकते हैं।
  • परफॉर्मेंस ट्रेड-ऑफ – वास्तविक दुनिया के बेंचमार्क रन यह प्रकट करेंगे कि क्या कॉन्फिडेंशियल निष्पादन का ओवरहेड बड़े पैमाने के मॉडल्स के लिए स्वीकार्य है।

निष्कर्ष

टेस्ट डेटा और मॉडल दोनों को एक परस्पर अपारदर्शी क्रिप्टोग्राफिक वातावरण में लॉक करके, Google DeepMind का पायलट विश्वसनीय AI बेंचमार्किंग के लिए एक ठोस मार्ग प्रदान करता है। यह तरीका हर ऑडिट चुनौती को समाप्त नहीं करता है, लेकिन यह किसी भी पक्ष को अपनी सबसे मूल्यवान संपत्ति छोड़ने के लिए मजबूर किए बिना पक्षपात के सबसे स्पष्ट स्रोत—बेंचमार्क संदूषण—को हटा देता है। यदि समुदाय इस तकनीक को अपनाता है, तो भविष्य की AI प्रगति रिपोर्टों को अंततः वास्तविकता के रूप में स्वीकार किया जा सकेगा।