Google DeepMind తన Gemini Flash Lite మోడల్‌లను, టెస్ట్ ప్రాంప్ట్‌లు లేదా మోడల్ వెయిట్స్‌ను బహిర్గతం చేయకుండా మూల్యాంకనం చేయడానికి క్రిప్టోగ్రాఫిక్ డబుల్-బ్లైండ్ బెంచ్‌మార్కింగ్‌ను ఉపయోగించే ఒక పైలట్ ప్రాజెక్ట్‌ను ప్రారంభించింది. ఈ మూల్యాంకనం Google Cloud యొక్క Confidential Space లోపల జరుగుతుంది, కాబట్టి మూల్యాంకనకర్త మోడల్‌ను చూడలేరు మరియు మోడల్ ప్రశ్నలను చూడలేదు—ఈ విధానం AI పనితీరు నివేదికలకు విశ్వసనీయతను తిరిగి తీసుకురాగలదు.

బెంచ్‌మార్క్ కంటామినేషన్ (benchmark contamination) ఎందుకు ముఖ్యమైనది

ఒక మోడల్ శిక్షణ పొందిన డేటా తర్వాత బెంచ్‌మార్క్‌లో కనిపిస్తే, దాని స్కోరు తార్కికతను (reasoning) కొలవడం మానేసి, కేవలం జ్ఞాపకశక్తిని (memorization) కొలిచేలా మారుతుంది. కంటామినేట్ అయిన టెస్ట్‌పై వచ్చే పరిపూర్ణ ఫలితం నిజమైన సామర్థ్యం గురించి ఏమీ చెప్పదు. పరిశోధకులు చాలా కాలంగా ఒక వైరుధ్యాన్ని ఎదుర్కొంటున్నారు: బెంచ్‌మార్క్‌ను ధృవీకరించడానికి మోడల్ ప్రొవైడర్‌కు టెస్ట్ డేటాను అందించాలి, దీనివల్ల డేటా ముందస్తుగా బహిర్గతమయ్యే ప్రమాదం ఉంది, లేదా ప్రొప్రైటరీ వెయిట్స్‌ను రక్షించడానికి బాహ్య యాక్సెస్‌ను నిరాకరించాలి, దీనివల్ల ఆడిట్ ధృవీకరించబడదు. ARC-AGI బెంచ్‌మార్క్‌లో Anthropic’s Fable 5 మూల్యాంకనంలో ఇటీవల జరిగిన ఆలస్యం, కఠినమైన డేటా-రిటెన్షన్ విధానాలు స్వతంత్ర అంచనాను ఎలా అడ్డుకోగలవో చూపుతుంది.

ఒక క్రిప్టోగ్రాఫిక్ పరిష్కారం

ఈ పైలట్ ప్రాజెక్ట్ చట్టపరమైన ఒప్పందాలు మరియు “జీరో-లాగింగ్” వాగ్దానాలకు బదులుగా ఒక సాంకేతిక రక్షణను అందిస్తుంది. Confidential Space అనేది Gemini Flash Lite మోడల్‌ను నడిపే హార్డ్‌వేర్-ఐసోలేటెడ్ ఎన్‌క్లేవ్‌ను (enclave) సృష్టిస్తుంది. మూల్యాంకనకర్త టెస్ట్ సూట్‌ను అప్‌లోడ్ చేస్తారు, దీనిని ఎన్‌క్లేవ్ క్రిప్టోగ్రాఫిక్ “బాక్స్”లో సీల్ చేస్తుంది, దీనిని మోడల్ తెరవలేదు. అదే సమయంలో, మోడల్ వెయిట్స్ ఎన్‌క్లేవ్ లోపల ఎన్‌క్రిప్ట్ చేయబడి ఉంటాయి, ఇవి మూల్యాంకనకర్తకు కనిపించవు. ఇన్ఫరెన్స్ సమయంలో మోడల్ ప్రాంప్ట్‌లను ఎప్పుడూ యాక్సెస్ చేయలేదని ఎన్‌క్లేవ్ ఒక గణిత ఆధారిత నిరూపణను (mathematical proof) అందిస్తుంది. దీని ఫలితం నిజమైన డబుల్-బ్లైండ్ రన్: రెండు పక్షాలు తమ రహస్యాలను కాపాడుకుంటూనే, మూడవ పక్షం ధృవీకరించదగిన పనితీరు కొలతను పొందుతుంది.

దీని వల్ల ఎవరు ప్రయోజనం పొందుతారు

  • రెగ్యులేటర్లు మరియు ఆడిటర్లు ఇప్పుడు ప్రొవైడర్‌లను వారి వ్యాపార రహస్యాలను వెల్లడించమని బలవంతం చేయకుండానే సామర్థ్యానికి సంబంధించిన ఆధారాలను కోరవచ్చు.
  • సైబర్‌సెక్యూరిటీ, డిఫెన్స్ లేదా క్లాసిఫైడ్ డేటాను హ్యాండిల్ చేసే రంగాల్లోని సంస్థలు డేటా లీకేజీ ప్రమాదం లేకుండా AI సాధనాలను పరీక్షించవచ్చు.
  • మోడల్ డెవలపర్లు తమ పోటీతత్వాన్ని కాపాడుకోవచ్చు; వారు ఇకపై పారదర్శకత మరియు రక్షణ మధ్య ఎంపిక చేసుకోవాల్సిన అవసరం లేదు.

ఈ విధానం విస్తరించగలిగితే, ఇది ఫ్రాంటియర్ మోడల్‌లను (frontier models) ధృవీకరించడానికి డిఫాల్ట్ పద్ధతిగా మారవచ్చు, తద్వారా పరిశ్రమ నమ్మకం ఆధారిత ఒప్పందాల నుండి గణిత ఆధారిత హామీల వైపు మారుతుంది.

సంభావ్య ఇబ్బందులు

ఈ వ్యవస్థ Google Cloud యొక్క కాన్ఫిడెన్షియల్ కంప్యూటింగ్ స్టాక్ పై ఆధారపడి ఉంటుంది, కాబట్టి ఇతర క్లౌడ్ ప్రొవైడర్‌లను ఇష్టపడే సంస్థలు ఇంటిగ్రేషన్ పరంగా ఇబ్బందులను ఎదుర్కోవచ్చు. ఎన్‌క్లేవ్ లోపల మోడల్‌లను నడపడం వల్ల లేటెన్సీ (latency) పెరుగుతుంది మరియు అందుబాటులో ఉన్న హార్డ్‌వేర్ యాక్సిలరేటర్ల పరిమితులు ఏర్పడతాయి, ఇది బెంచ్‌మార్క్ స్కోర్‌లపై ప్రభావం చూపవచ్చు. అలాగే, క్రిప్టోగ్రాఫిక్ నిరూపణ మోడల్ ప్రాంప్ట్‌లను చూడలేదని హామీ ఇచ్చినప్పటికీ, టెస్ట్ ప్రారంభమైన తర్వాత ఫైన్-ట్యూనింగ్ వంటి ఇతర మార్పులను ఇది నిరోధించదు. ఈ పరిష్కారం విస్తృతమైన రీప్రొడ్యూసిబిలిటీ సమస్యలోని ఒక చిన్న భాగాన్ని మాత్రమే పరిష్కరిస్తుందని విమర్శకులు వాదించవచ్చు.

తదుపరి ఏమి గమనించాలి

  • పైలట్ పరిధికి మించి అడాప్షన్ – ఇతర AI ల్యాబ్‌లు మరియు క్లౌడ్ వెండర్లు కూడా అనుకూలమైన ఎన్‌క్లేవ్‌లను నిర్మించవచ్చు, తద్వారా వివిధ ప్లాట్‌ఫారమ్‌ల ద్వారా మోడల్‌ను ఆడిట్ చేయవచ్చా అనేది పరీక్షించవచ్చు.
  • స్టాండర్డ్-సెట్టింగ్ బాడీస్ – AI-సేఫ్టీ గ్రూపులు సర్టిఫికేషన్ ఫ్రేమ్‌వర్క్‌లలో భాగంగా డబుల్-బ్లైండ్ క్రిప్టోగ్రాఫిక్ ఆడిట్‌లను నియమబద్ధీకరించవచ్చు.
  • పెర్ఫార్మెన్స్ ట్రేడ్-ఆఫ్స్ – భారీ స్థాయి మోడల్‌లకు కాన్ఫిడెన్షియల్ ఎగ్జిక్యూషన్ యొక్క ఓవర్‌హెడ్ ఆమోదయోగ్యమా కాదా అనేది వాస్తవ ప్రపంచ బెంచ్‌మార్క్ రన్‌లు తెలియజేస్తాయి.

ముగింపు

టెస్ట్ డేటా మరియు మోడల్ రెండింటినీ పరస్పరం అపారదర్శకమైన క్రిప్టోగ్రాఫిక్ వాతావరణంలో లాక్ చేయడం ద్వారా, Google DeepMind యొక్క పైలట్ ప్రాజెక్ట్ నమ్మదగిన AI బెంచ్‌మార్కింగ్‌కు ఒక స్పష్టమైన మార్గాన్ని చూపుతుంది. ఈ పద్ధతి ప్రతి ఆడిట్ సవాలును తొలగించదు, కానీ ఏ పక్షాన్ని వారి అత్యంత విలువైన ఆస్తులను వదులుకోమని బలవంతం చేయకుండానే, బెంచ్‌మార్క్ కంటామినేషన్ వంటి అతిపెద్ద పక్షపాత మూలాన్ని తొలగిస్తుంది. ఈ సాంకేతికతను కమ్యూనిటీ స్వీకరిస్తే, భవిష్యత్తు AI పురోగతి నివేదికలను చివరకు యథాతథంగా నమ్మవచ్చు.