Google DeepMind ਨੇ ਇੱਕ ਪਾਇਲਟ ਸ਼ੁਰੂ ਕੀਤਾ ਹੈ ਜੋ ਟੈਸਟ ਪ੍ਰੋਂਪਟਸ ਜਾਂ ਮਾਡਲ ਵੇਟਸ (model weights) ਨੂੰ ਪ੍ਰਗਟ ਕੀਤੇ ਬਿਨਾਂ ਆਪਣੇ Gemini Flash Lite ਮਾਡਲਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ ਕ੍ਰਿਪਟੋਗ੍ਰਾਫਿਕ ਡਬਲ-ਬਲਾਈਂਡ ਬੈਂਚਮਾਰਕਿੰਗ (cryptographic double-blind benchmarking) ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਇਹ ਮੁਲਾਂਕਣ Google Cloud ਦੇ Confidential Space ਦੇ ਅੰਦਰ ਚਲਦਾ ਹੈ, ਇਸ ਲਈ ਮੁਲਾਂਕਣਕਰਤਾ ਕਦੇ ਵੀ ਮਾਡਲ ਨੂੰ ਨਹੀਂ ਦੇਖਦਾ ਅਤੇ ਮਾਡਲ ਕਦੇ ਵੀ ਸਵਾਲਾਂ ਨੂੰ ਨਹੀਂ ਦੇਖਦਾ—ਇੱਕ ਅਜਿਹਾ ਤਰੀਕਾ ਜੋ AI ਪ੍ਰਦਰਸ਼ਨ ਰਿਪੋਰਟਾਂ ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਨੂੰ ਬਹਾਲ ਕਰ ਸਕਦਾ ਹੈ।

ਬੈਂਚਮਾਰਕ ਕੰਟੈਮੀਨੇਸ਼ਨ (benchmark contamination) ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ

ਜੇਕਰ ਕੋਈ ਮਾਡਲ ਅਜਿਹੇ ਡੇਟਾ 'ਤੇ ਟ੍ਰੇਨ ਹੁੰਦਾ ਹੈ ਜੋ ਬਾਅਦ ਵਿੱਚ ਕਿਸੇ ਬੈਂਚਮਾਰਕ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਉਸਦਾ ਸਕੋਰ ਤਰਕ (reasoning) ਨੂੰ ਮਾਪਣ ਦੀ ਬਜਾਏ ਰੱਟਾ ਮਾਰਨ (memorization) ਵਿੱਚ ਬਦਲ ਜਾਂਦਾ ਹੈ। ਇਸ ਲਈ, ਇੱਕ ਕੰਟੈਮੀਨੇਟਡ ਟੈਸਟ 'ਤੇ ਇੱਕ ਸੰਪੂਰਨ ਨਤੀਜਾ ਅਸਲ ਸਮਰੱਥਾ ਬਾਰੇ ਕੁਝ ਨਹੀਂ ਦੱਸਦਾ। ਖੋਜਕਰਤਾਵਾਂ ਨੂੰ ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਇੱਕ ਵਿਰੋਧਾਭਾਸ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈ ਰਿਹਾ ਹੈ: ਬੈਂਚਮਾਰਕ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨ ਲਈ ਉਨ੍ਹਾਂ ਨੂੰ ਮਾਡਲ ਪ੍ਰਦਾਤਾ ਨੂੰ ਟੈਸਟ ਡੇਟਾ ਦੇਣਾ ਪੈਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਸਮੇਂ ਤੋਂ ਪਹਿਲਾਂ ਪ੍ਰਗਟ ਹੋਣ ਦਾ ਖ਼ਤਰਾ ਹੁੰਦਾ ਹੈ, ਜਾਂ ਉਹ ਮਲਕੀਅਤ ਵਾਲੇ ਵੇਟਸ ਦੀ ਰੱਖਿਆ ਲਈ ਬਾਹਰੀ ਪਹੁੰਚ ਤੋਂ ਇਨਕਾਰ ਕਰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਆਡਿਟ ਅਣਪਛੂਤਾ ਰਹਿ ਜਾਂਦਾ ਹੈ। ARC-AGI ਬੈਂਚਮਾਰਕ 'ਤੇ Anthropic ਦੇ Fable 5 ਦੇ ਮੁਲਾਂਕਣ ਵਿੱਚ ਹਾਲ ਹੀ ਵਿੱਚ ਹੋਈ ਦੇਰੀ ਇਹ ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ ਕਿਵੇਂ ਸਖ਼ਤ ਡੇਟਾ-ਰਿਟੈਂਸ਼ਨ ਨੀਤੀਆਂ ਸੁਤੰਤਰ ਮੁਲਾਂਕਣ ਨੂੰ ਰੋਕ ਸਕਦੀਆਂ ਹਨ।

ਇੱਕ ਕ੍ਰਿਪਟੋਗ੍ਰਾਫਿਕ ਹੱਲ

ਇਹ ਪਾਇਲਟ ਕਾਨੂੰਨੀ ਇਕਰਾਰਨਾਮਿਆਂ ਅਤੇ "ਜ਼ੀਰੋ-ਲੌਗਿੰਗ" ਵਾਅਦਿਆਂ ਦੀ ਜਗ੍ਹਾ ਇੱਕ ਤਕਨੀਕੀ ਸੁਰੱਖਿਆ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। Confidential Space ਇੱਕ ਹਾਰਡਵੇਅਰ-ਆਈਸੋਲੇਟਡ ਐਨਕਲੇਵ (hardware-isolated enclave) ਬਣਾਉਂਦਾ ਹੈ ਜੋ Gemini Flash Lite ਮਾਡਲ ਨੂੰ ਚਲਾਉਂਦਾ ਹੈ। ਮੁਲਾਂਕਣਕਰਤਾ ਟੈਸਟ ਸੂਟ ਅਪਲੋਡ ਕਰਦਾ ਹੈ, ਜਿਸ ਨੂੰ ਐਨਕਲੇਵ ਇੱਕ ਕ੍ਰਿਪਟੋਗ੍ਰਾਫਿਕ "ਬਾਕਸ" ਵਿੱਚ ਸੀਲ ਕਰ ਦਿੰਦਾ ਹੈ ਜਿਸ ਨੂੰ ਮਾਡਲ ਨਹੀਂ ਖੋਲ੍ਹ ਸਕਦਾ। ਇਸੇ ਸਮੇਂ, ਮਾਡਲ ਦੇ ਵੇਟਸ ਐਨਕਲੇਵ ਦੇ ਅੰਦਰ ਐਨਕ੍ਰਿਪਟਡ ਰਹਿੰਦੇ ਹਨ, ਜੋ ਮੁਲਾਂਕਣਕਰਤਾ ਨੂੰ ਦਿਖਾਈ ਨਹੀਂ ਦਿੰਦੇ। ਐਨਕਲੇਵ ਇੱਕ ਗਣਿਤਕ ਸਬੂਤ ਤਿਆਰ ਕਰਦਾ ਹੈ ਕਿ ਮਾਡਲ ਨੇ ਇਨਫਰੈਂਸ (inference) ਦੌਰਾਨ ਪ੍ਰੋਂਪਟਸ ਤੱਕ ਪਹੁੰਚ ਨਹੀਂ ਕੀਤੀ। ਨਤੀਜਾ ਇੱਕ ਅਸਲ ਡਬਲ-ਬਲਾਈਂਡ ਰਨ ਹੈ: ਦੋਵੇਂ ਪਾਸੇ ਆਪਣੇ ਭੇਦ ਰੱਖਦੇ ਹਨ ਜਦੋਂ ਕਿ ਇੱਕ ਤਿਰਜੀ ਪੱਖ ਨੂੰ ਇੱਕ ਪ੍ਰਮਾਣਿਤ ਪ੍ਰਦਰਸ਼ਨ ਮੈਟ੍ਰਿਕ ਪ੍ਰਾਪਤ ਹੁੰਦਾ ਹੈ।

ਕਿਸ ਨੂੰ ਫਾਇਦਾ ਹੋ ਸਕਦਾ ਹੈ

  • ਨਿਯਮਕ (Regulators) ਅਤੇ ਆਡਿਟਰ ਹੁਣ ਪ੍ਰਦਾਤਾਵਾਂ ਨੂੰ ਵਪਾਰਕ ਭੇਦ ਖੋਲ੍ਹਣ ਲਈ ਮਜਬੂਰ ਕੀ