Google DeepMind, சோதனைத் தூண்டுதல்களையோ (test prompts) அல்லது மாதிரியின் எடைகளையோ (model weights) வெளிப்படுத்தாமல், அதன் Gemini Flash Lite மாதிரிகளை மதிப்பீடு செய்ய கிரிப்டோகிராஃபிக் இரட்டை-மறைமுக மதிப்பீட்டு முறையைப் (cryptographic double-blind benchmarking) பயன்படுத்தும் ஒரு முன்னோடித் திட்டத்தை அறிமுகப்படுத்தியுள்ளது. இந்த மதிப்பீடு Google Cloud-ன் Confidential Space-க்குள் நடைபெறுவதால், மதிப்பீட்டாளர் மாதிரியைப் பார்ப்பதில்லை, அதே சமயம் மாதிரி கேள்விகளைப் பார்ப்பதில்லை—இந்த அணுகுமுறை AI செயல்திறன் அறிக்கைகளின் நம்பகத்தன்மையை மீட்டெடுக்கக்கூடும்.

மதிப்பீட்டுத் தரவுத் தூய்மையின்மை (benchmark contamination) ஏன் முக்கியமானது

ஒரு மாதிரி, பின்னர் ஒரு மதிப்பீட்டில் (benchmark) இடம்பெறும் தரவைக் கொண்டு பயிற்சியளிக்கப்பபட்டால், அதன் மதிப்பெண் அதன் பகுத்தறியும் திறனை அளவிடுவதை நிறுத்திவிட்டு, வெறும் மனப்பாடம் செய்த திறனை அளவிடுவதாக மாறிவிடும். எனவே, தூய்மையற்ற ஒரு சோதனையில் கிடைக்கும் முழுமையான முடிவு, உண்மையான திறனைப் பற்றி எதையும் உணர்த்துவதில்லை. ஆராய்ச்சியாளர்கள் நீண்டகாலமாக ஒரு முரண்பாட்டைக் எதிர்கொண்டு வருகின்றனர்: ஒரு மதிப்பீட்டைச் சரிபார்க்க, சோதனைத் தரவை மாதிரி வழங்குநரிடம் ஒப்படைக்க வேண்டும், இது தரவு முன்கூட்டியே வெளிப்படும் அபாயத்தை ஏற்படுத்துகிறது; அல்லது உரிமம் பெற்ற எடைகளைப் (proprietary weights) பாதுகாக்க வெளிப்புற அணுகுவதை மறுக்க வேண்டும், இதனால் தணிக்கை (audit) சரிபார்க்கப்படாமல் போகிறது. ARC-AGI மதிப்பீட்டில் Anthropic-ன் Fable 5-ஐ மதிப்பீடு செய்வதில் ஏற்பட்டுள்ள சமீபத்திய தாமதம், கடுமையான தரவு-முடக்குக் கொள்கைகள் (data-retention policies) எவ்வாறு சுதந்திரமான மதிப்பீட்டைத் தடுத்து நிறுத்தக்கூடும் என்பதைக் காட்டுகிறது.

ஒரு கிரிப்டோகிராஃபிக் தீர்வு

இந்த முன்னோடித் திட்டம், சட்ட ஒப்பந்தங்கள் மற்றும் “zero-logging” வாக்குறுதிகளுக்குப் பதிலாக ஒரு தொழில்நுட்பப் பாதுகாப்பை வழங்குகிறது. Confidential Space என்பது Gemini Flash Lite மாதிரியை இயக்கும் ஒரு வன்பொருள்-தனிமைப்படுத்தப்பட்ட என்கிளேவை (hardware-isolated enclave) உருவாக்குகிறது. மதிப்பீட்டாளர் சோதனைத் தொகுப்பை (test suite) பதிவேற்றுகிறார், அதை என்கிளேவ் ஒரு கிரிப்டோகிராஃபிக் “பெட்டிக்குள்” (box) முத்திரையிடுகிறது, அதை மாதிரியால் திறக்க முடியாது. அதே நேரத்தில், மாதிரியின் எடைகள் என்கிளேவிற்குள் குறியாக்கம் (encrypted) செய்யப்பட்ட நிலையில் இருப்பதால், மதிப்பீட்டாளருக்குத் தெரியாது. மாதிரி அனுமானத்தின் (inference) போது தூண்டுதல்களை அணுகவில்லை என்பதற்கான கணித ஆதாரத்தை (mathematical proof) என்கிளேவ் உருவாக்குகிறது. இதன் விளைவாக ஒரு உண்மையான இரட்டை-மறைமுக ஓட்டம் (double-blind run) கிடைக்கிறது: இரு தரப்பினரும் தங்கள் ரகசியங்களைப் பாதுகாத்துக்கொள்ளும் அதே வேளையில், மூன்றாம் தரப்பினர் சரிபார்க்கக்கூடிய செயல்திறன் அளவீட்டைப் பெறுகின்றனர்.

இதனால் பயனடைபவர்கள் யார்

  • ஒழுங்குமுறை அமைப்புகள் மற்றும் தணிக்கையாளர்கள் இப்போது வணிக ரகசியங்களை வெளிப்படுத்த நிர்ப்பந்திக்காமல், திறனுக்கான ஆதாரங்களைக் கோரலாம்.
  • சைபர் பாதுகாப்பு, பாதுகாப்புத் துறை அல்லது வகைப்படுத்தப்பட்ட தரவைக் கையாளும் எந்தவொரு துறையிலும் உள்ள நிறுவனங்கள் தரவு கசிவு அபாயம் இன்றி AI கருவிகளைச் சோதிக்கலாம்.
  • மாதிரி உருவாக்குநர்கள் தங்கள் போட்டித் திறனைத் தக்க வைத்துக் கொள்ளலாம்; அவர்கள் வெளிப்படைத்தன்மை மற்றும் பாதுகாப்பு ஆகிய இரண்டில் ஒன்றைத் தேர்ந்தெடுக்க வேண்டிய அவசியமில்லை.

இந்த அணுகுமுறை விரிவுபடுத்தப்பட்டால், இது அதிநவீன மாதிரிகளை (frontier models) சான்றளிப்பதற்கான இயல்பான முறையாக மாறக்கூடும், இது தொழில்துறையை நம்பிக்கை சார்ந்த ஏற்பாடுகளிலிருந்து கணித அடிப்படையிலான உத்தரவாதங்களுக்கு மாற்றும்.

ஏற்படக்கூடிய சிக்கல்கள்

இந்த அமைப்பு Google Cloud-ன் confidential computing stack-ஐச் சார்ந்துள்ளது, எனவே மற்ற கிளவுட் வழங்குநர்களை விரும்பும் நிறுவனங்கள் ஒருங்கிணைப்புத் தடைகளைச் சந்திக்கலாம். என்கிளேவிற்குள் மாதிரிகளை இயக்குவது தாமதத்தை (latency) ஏற்படுத்துகிறது மற்றும் கிடைக்கக்கூடிய வன்பொருள் முடுக்கிகளை (hardware accelerators) மட்டுப்படுத்துகிறது, இது மதிப்பீட்டு மதிப்பெண்களைப் பாதிக்கலாம். மேலும், கிரிப்டோகிராஃபிக் சான்று மாதிரி தூண்டுதல்களைப் பார்க்கவில்லை என்பதை உறுதிப்படுத்தினாலும், சோதனை தொடங்கிய பிறகு ஃபைன்-டியூனிங் (fine-tuning) செய்வது போன்ற பிற கையாளுதல்களை இது தடுக்காது. இந்தத் தீர்வு பரந்த மறுஉற்பத்திப் (reproducibility) பிரச்சினையின் ஒரு சிறிய பகுதியை மட்டுமே கையாள்கிறது என்று விமர்சகர்கள் வாதிடலாம்.

அடுத்து கவனிக்க வேண்டியவை

  • முன்னோடித் திட்டத்தைத் தாண்டிய பயன்பாடு – பிற AI ஆய்வகங்கள் மற்றும் கிளவுட் விற்பனையாளர்கள் இணக்கமான என்கிளேவ்களை உருவாக்கலாம், இதன் மூலம் பல்வேறு தளங்களில் மாதிரியைத் தணிக்கை செய்ய முடியுமா என்பதைச் சோதிக்கலாம்.
  • தரநிலையை நிர்ணயிக்கும் அமைப்புகள் – AI-பாதுகாப்பு குழுக்கள் சான்றிதழ் கட்டமைப்புகளின் ஒரு பகுதியாக இரட்டை-மறைமுக கிரிப்டோகிராஃபிக் தணிக்கைகளை முறைப்படுத்தலாம்.
  • செயல்திறன் சமரசங்கள் (Performance trade-offs) – பெரிய அளவிலான மாதிரிகளுக்குத் தனிப்பட்ட முறையில் இயக்குவதன் கூடுதல் சுமை (overhead) ஏற்றுக்கொள்ளத்தக்கதா என்பதை நிஜ உலக மதிப்பீட்டு ஓட்டங்கள் வெளிப்படுத்தும்.

சுருக்கம்

சோதனைத் தரவு மற்றும் மாதிரியை ஆகிய இரண்டையும் பரஸ்பரம் ஒளிவுமறைவான கிரிப்டோகிராஃபிக் சூழலுக்குள் பூட்டுவதன் மூலம், Google DeepMind-ன் முன்னோடித் திட்டம் நம்பகமான AI மதிப்பீட்டிற்கு ஒரு உறுதியான பாதையை வழங்குகிறது. இந்த முறை அனைத்து தணிக்கை சவால்களையும் நீக்கிவிடாது, ஆனால் இரு தரப்பினரையும் அவர்களின் மிகவும் மதிப்புமிக்க சொத்துக்களை விட்டுக்கொடுக்கச் செய்யாமல், பாரபட்சத்தின் மிகத் தெளிவான ஆதாரமான மதிப்பீட்டுத் தரவுத் தூய்மையின்மையை (benchmark contamination) நீக்குகிறது. சமூகம் இந்தத் தொழில்நுட்பத்தை ஏற்றுக்கொண்டால், எதிர்கால AI முன்னேற்ற அறிக்கைகளை இறுதியாக அப்படியே நம்ப முடியும்.