Anthropic ਦੇ Fable 5 ਮਾਡਲ ਨੇ ਸਿਰਫ਼ ਗੇਮ ਦੇ ਵਿਜ਼ੂਅਲ ਆਊਟਪੁੱਟ (visual output) ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, Pokémon FireRed ਦੇ ਚੀਨੀ-ਭਾਸ਼ਾ ਵਾਲੇ ਵਰਜ਼ਨ ਨੂੰ ਖੇਡਦਿਆਂ 1,785 ਮੋੜਾਂ (turns) ਵਿੱਚ ਪਹਿਲਾ ਜਿਮ ਬੈਜ (gym badge) ਜਿੱਤ ਲਿਆ, ਜਿਸ ਵਿੱਚ $65.40 ਦਾ ਖਰਚਾ ਆਇਆ। ਇਹ ਪ੍ਰਦਰਸ਼ਨ ਸਾਬਤ ਕਰਦਾ ਹੈ ਕਿ ਮਾਡਲ ਕਿਸੇ ਵੀ ਟੈਕਸਟੂਅਲ ਪ੍ਰੋਂਪਟ (textual prompt) ਤੋਂ ਬਿਨਾਂ ਗੇਮ ਦੇ ਇੱਕ ਪਛਾਣਨਯੋਗ ਹਿੱਸੇ ਨੂੰ ਪੂਰਾ ਕਰ ਸਕਦਾ ਹੈ, ਪਰ ਮਾਡਲ ਦੀ 'ਥਿੰਕਿੰਗ ਚੇਨ' (thinking chain) ਦੀ ਡੂੰਘਾਈ ਨਾਲ ਜਾਂਚ ਕਰਨ 'ਤੇ ਪਤਾ ਲੱਗਦਾ ਹੈ ਕਿ ਇਹ ਹਰ ਪਿਕਸਲ ਨੂੰ ਸੱਚਮੁੱਚ "ਦੇਖਣ" ਅਤੇ ਉਸ ਬਾਰੇ ਤਰਕ ਕਰਨ ਦੀ ਬਜਾਏ, ਯਾਦ ਕੀਤੇ ਹੋਏ ਗੇਮ ਗਿਆਨ ਨੂੰ ਦੁਹਰਾ ਰਿਹਾ ਸੀ।

Anthropic ਦੇ ਦਾਅਵੇ ਦੀ ਪ੍ਰੀਖਿਆ

ਜਦੋਂ Anthropic ਨੇ Fable 5 ਰਿਲੀਜ਼ ਕੀਤਾ, ਤਾਂ ਕੰਪਨੀ ਨੇ ਇੱਕ "vision-only" ਡੈਮੋ ਨੂੰ ਉਜਾਗਰ ਕੀਤਾ ਜਿਸ ਵਿੱਚ ਮਾਡਲ ਨੇ ਸਿਰਫ਼ ਸਕ੍ਰੀਨ ਨੂੰ ਦੇਖ ਕੇ Pokémon FireRed ਵਿੱਚ ਨੈਵੀਗੇਟ ਕੀਤਾ। ਹੈੱਡਲਾਈਨ ਤੋਂ ਇੰਝ ਲੱਗ ਰਿਹਾ ਸੀ ਜਿਵੇਂ ਕਿ ਸਿਸਟਮ ਕਿਸੇ ਵੀ ਵਿਜ਼ੂਅਲ ਵਾਤਾਵਰਣ ਨੂੰ ਸ਼ੁਰੂ ਤੋਂ ਹੀ ਸਮਝ ਸਕਦਾ ਹੋਵੇ। ਇੱਕ ਡਿਵੈਲਪਰ ਨੇ Anthropic ਦੇ ਲਾਂਚ ਪੇਜ 'ਤੇ ਦੱਸੇ ਗਏ ਸੈੱਟਅੱਪ ਨੂੰ ਦੁਹਰਾ ਕੇ ਅਤੇ ਗੇਮ ਦੇ ਚੀਨੀ ਅਨੁਵਾਦ 'ਤੇ ਮਾਡਲ ਨੂੰ ਚਲਾ ਕੇ ਉਸ ਦਾਅਵੇ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ।

ਪ੍ਰਯੋਗ ਕਿਵੇਂ ਚਲਾਇਆ ਗਿਆ

ਇੱਕ ਕਸਟਮ ਹਾਰਨੈੱਸ (harness) ਨੇ ਮਾਡਲ ਨੂੰ ਰੋਅ ਵੀਡੀਓ ਫਰੇਮ (raw video frames) ਦਿੱਤੇ ਅਤੇ ਇਸ ਦੇ ਐਕਸ਼ਨ ਚੋਣਾਂ ਨੂੰ ਕੈਪਚਰ ਕੀਤਾ। ਇਹ ਹਾਰਨੈੱਸ Anthropic ਦੇ ਵੇਰਵੇ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਸੀ, ਜੋ ਹਰ ਨਵੇਂ ਫਰੇਮ ਨੂੰ ਮਾਡਲ ਨੂੰ ਭੇਜ ਰਿਹਾ ਸੀ ਅਤੇ ਚੁਣੇ ਗਏ ਕੰਟਰੋਲਰ ਇਨਪੁੱਟ ਨੂੰ ਪੜ੍ਹ ਰਿਹਾ ਸੀ। ਟੈਸਟ ਪੂਰੀ ਗੇਮ ਲੂਪ ਨੂੰ ਉਦੋਂ ਤੱਕ ਚਲਾਇਆ ਗਿਆ ਜਦੋਂ ਤੱਕ ਮਾਡਲ ਨੇ ਆਪਣਾ ਪਹਿਲਾ ਜਿਮ ਬੈਜ ਨਹੀਂ ਜਿੱਤ ਲਿਆ, ਅਤੇ ਫਿਰ ਇਹ 2,000ਵੇਂ ਮੋੜ ਤੱਕ ਜਾਰੀ ਰਿਹਾ, ਜਦੋਂ ਐਵਤਾਰ (avatar) Route 3 'ਤੇ ਪਹੁੰਚ ਗਿਆ।

ਕੁਆਂਟੀਟੇਟਿਵ (quantitative) ਨਤੀਜਾ ਸਪੱਸ਼ਟ ਸੀ:

  • 1,785 ਮੋੜਾਂ (turns) ਤੋਂ ਬਾਅਦ ਪਹਿਲਾ ਜਿਮ ਬੈਜ ਮਿਲਿਆ
  • ਕੁੱਲ ਕੰਪਿਊਟਿੰਗ ਲਾਗਤ $65.40
  • 2,000ਵੇਂ ਮੋੜ ਤੱਕ ਐਵਤਾਰ Route 3 'ਤੇ ਸੀ

ਲੌਗਸ (logs) ਕੀ ਦੱਸਦੇ ਹਨ

ਹਾਲਾਂਕਿ, ਰੋਅ ਲੌਗਸ (raw logs) ਇਸ ਬਾਰੇ ਇੱਕ ਵੱਖਰੀ ਕਹਾਣੀ ਦੱਸਦੇ ਹਨ ਕਿ ਮਾਡਲ ਉੱਥੇ ਕਿਵੇਂ ਪਹੁੰਚਿਆ। ਮਾਡਲ ਦੀ ਅੰਦਰੂਨੀ "thinking chain" ਨੇ ਵਾਰ-ਵਾਰ ਅਜਿਹੀ ਜਾਣਕਾਰੀ ਲਿਖੀ ਜੋ ਅਜੇ ਤੱਕ ਸਕ੍ਰੀਨ 'ਤੇ ਪ੍ਰਗਟ ਨਹੀਂ ਹੋਈ ਸੀ।

  • 78ਵੇਂ ਮੋੜ 'ਤੇ ਮਾਡਲ ਨੇ ਨੋਟ ਕੀਤਾ ਕਿ ਵਿਰੋਧੀ (rival) Charmander ਨੂੰ ਚੁਣੇਗਾ, ਭਾਵੇਂ ਕਿ ਗੇਮ ਨੇ ਵਿਰੋਧੀ ਦੀ ਚੋਣ ਅਜੇ ਦਿਖਾਈ ਨਹੀਂ ਸੀ।
  • 141 ਮੋੜਾਂ ਬਾਅਦ, ਜਦੋਂ ਗੇਮ ਨੇ ਅੰਤ ਵਿੱਚ ਖਿਡਾਰੀ ਨੂੰ Oak’s Parcel ਦਿੱਤਾ, ਮਾਡਲ ਨੇ ਪਹਿਲਾਂ ਹੀ ਆਪਣੀਆਂ ਨੋਟਸ ਵਿੱਚ ਆਈਟਮ ਦਾ ਨਾਮ ਦਰਜ ਕਰ ਲਿਆ ਸੀ।
  • Route 3 'ਤੇ ਚੱਲਦਿਆਂ, ਮਾਡਲ ਨੇ ਸੰਵਾਦ (dialogue) ਦੀ ਇੱਕ ਮਸ਼ਹੂਰ ਲਾਈਨ ਦਾ ਹਵਾਲਾ ਦੇ ਕੇ ਇੱਕ ਖਾਸ ਟ੍ਰੇਨਰ ਦੀ ਪਛਾਣ ਕੀਤੀ, ਜੋ ਕਦੇ ਵੀ ਵਿਜ਼ੂਅਲ ਫੀਡ ਵਿੱਚ ਨਹੀਂ ਦਿਖਾਈ ਦਿੱਤੀ ਸੀ।

ਇਹ ਐਂਟਰੀਆਂ ਪਿਕਸਲ-ਦਰ-ਪਿਕਸਲ ਵਿਸ਼ਲੇਸ਼ਣ ਦਾ ਨਤੀਜਾ ਨਹੀਂ ਹਨ। ਇਹ ਇੱਕ ਅਜਿਹੇ ਸਿਸਟਮ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ ਜਿਸਨੇ ਗੇਮ ਦੀ ਇੱਕ ਵਿਸਤ੍ਰਿਤ ਸਕ੍ਰਿਪਟ ਨੂੰ ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ ਸਿੱਖ ਲਿਆ ਹੈ—ਬਿਲਕੁਲ ਉਸ ਤਰ੍ਹਾਂ ਦਾ ਗਿਆਨ ਜੋ ਇੰਟਰਨੈਟ 'ਤੇ ਮੌਜੂਦ ਵਾਕਥਰੂ (walkthroughs), ਵਿਕੀ (wikis) ਅਤੇ ਫੈਨ ਵੀਡੀਓਜ਼ ਵਿੱਚ ਮਿਲਦਾ ਹੈ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਮਾਡਲ ਵਿਜ਼ਨ ਦੀ ਵਰਤੋਂ ਸਿਰਫ਼ ਉਸ ਮੈਪ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨ ਲਈ ਕਰਦਾ ਜਾਪਦਾ ਹੈ ਜਿਸ ਨੂੰ ਉਹ ਪਹਿਲਾਂ ਹੀ ਜ਼ੁਬਾਨੀ ਯਾਦ ਕਰ ਚੁੱਕਾ ਹੈ।

ਵਿਜ਼ੂਅਲ-ਰੀਜ਼ਨਿੰਗ ਬੈਂਚਮਾਰਕਸ ਲਈ ਇਹ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ

ਇਹ ਪ੍ਰਯੋਗ ਕਈ ਵਿਜ਼ੂਅਲ-ਰੀਜ਼ਨਿੰਗ ਟੈਸਟਾਂ ਵਿੱਚ ਇੱਕ ਸੂਖਮ ਪਰ ਮਹੱਤਵਪੂਰਨ 결 (flaw) ਨੂੰ ਉਜਾਗਰ ਕਰਦਾ ਹੈ:

  • ਸਾਫ਼ ਇਨਪੁੱਟ (Clean input) ਇੱਕ ਸਾਫ਼ ਗਿਆਨ ਦੀ ਸਥਿਤੀ ਦੀ ਗਾਰੰਟੀ ਨਹੀਂ ਦਿੰਦਾ। ਭਾਵੇਂ ਇਕਲੌਤਾ ਚੈਨਲ ਇੱਕ ਇਮੇਜ ਸਟ੍ਰੀਮ ਹੋਵੇ, ਮਾਡਲ ਯਾਦ ਕੀਤੇ ਹੋਏ ਤੱਥਾਂ ਦੇ ਇੱਕ ਵਿਸ਼ਾਲ ਭੰਡਾਰ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦਾ ਹੈ।
  • ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ (System prompts) ਟ੍ਰੇਨਿੰਗ ਡੇਟਾ ਨੂੰ ਮਿਟਾ ਨਹੀਂ ਸਕਦੇ। ਜਿਸ ਮਾਡਲ ਨੇ ਪੂਰਾ ਵਾਕਥਰੂ ਦੇਖਿਆ ਹੋਵੇ, ਉਸਨੂੰ ਦੁਬਾਰਾ ਟ੍ਰੇਨ ਕੀਤੇ ਬਿਨਾਂ "ਭੁੱਲਣ" ਲਈ ਮਜਬੂਰ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ।
  • ਪ੍ਰਦਰਸ਼ਨ ਯਾਦਦਾਸ਼ਤ ਨੂੰ ਮਾਪ ਸਕਦਾ ਹੈ, ਅਨੁਭਵ (perception) ਨੂੰ ਨਹੀਂ। ਜਦੋਂ ਟੈਸਟ ਦੁਨੀਆ ਕਿਸੇ ਜਾਣੇ-ਪਛਾਣੇ ਡੇਟਾਸੈੱਟ ਨਾਲ ਮੇਲ ਖਾਂਦੀ ਹੈ, ਤਾਂ ਮਾਡਲ ਨਵੀਂ ਵਿਜ਼ੂਅਲ ਜਾਣਕਾਰੀ ਦੀ ਵਿਆਖਿਆ ਕਰਨ ਦੀ ਬਜਾਏ ਪੈਟਰਨ ਨੂੰ ਪੈਟਰਨ ਨਾਲ ਮਿਲਾ ਕੇ ਸਫਲ ਹੋ ਸਕਦਾ ਹੈ।

ਜੇਕਰ ਬੈਂਚਮਾਰਕਸ "vision-only" ਨੂੰ ਵਿਜ਼ੂਅਲ ਰੀਜ਼ਨਿੰਗ ਦੇ ਪ੍ਰੌਕਸੀ (proxy) ਵਜੋਂ ਮੰਨਦੇ ਰਹਿੰਦੇ ਹਨ, ਤਾਂ ਉਹ ਨਵੇਂ ਵਾਤਾਵਰਣਾਂ ਨੂੰ ਸਮਝਣ ਦੀ AI ਦੀ ਯੋਗਤਾ ਬਾਰੇ ਦਾਅਵਿਆਂ ਨੂੰ ਵਧਾ-ਚੜ੍ਹਾ ਕੇ ਪੇਸ਼ ਕਰਨ ਦਾ ਜੋਖਮ ਲੈਂਦੇ ਹਨ। ਕੰਪਨੀਆਂ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਅੰਕੜੇ

ਯਾਦ ਰੱਖਣ ਦੀਆਂ ਸੀਮਾਵਾਂ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ, ਟੈਸਟਰ ਹੁਣ ਬਦਲੀ ਹੋਈ ਭੂਗੋਲਿਕਤਾ ਵਾਲੇ ਇੱਕ ਸੋਧੇ ਹੋਏ ਨਕਸ਼ੇ 'ਤੇ ਉਹੀ ਮਾਡਲ ਚਲਾ ਰਿਹਾ ਹੈ। ਸਾਰਾ ਕੋਡ, ਕਸਟਮ ਹਾਰਨੈੱਸ, ਅਤੇ ਪੂਰੀਆਂ ਲੌਗ ਫਾਈਲਾਂ ਜਨਤਕ ਕਰ ਦਿੱਤੀਆਂ ਗਈਆਂ ਹਨ, ਜਿਸ ਨਾਲ ਹੋਰ ਖੋਜਕਰਤਾਵਾਂ ਨੂੰ ਇਸ ਪ੍ਰਯੋਗ ਨੂੰ ਦੁਹਰਾਉਣ ਜਾਂ ਵੱਖ-ਵੱਖ ਗੇਮਾਂ 'ਤੇ ਲਾਗੂ ਕਰਨ ਲਈ ਸੱਦਾ ਦਿੱਤਾ ਗਿਆ ਹੈ। ਨਿਰੰਤਰ ਸੰਵਾਦ ਲਈ ਇੱਕ ਲਰਨਿੰਗ ਕਮਿਊਨਿਟੀ ਪਲੇਟਫਾਰਮ 'ਤੇ ਇੱਕ ਚਰਚਾ ਚੈਨਲ ਵੀ ਖੋਲ੍ਹਿਆ ਗਿਆ ਹੈ।

ਮੁੱਖ ਨੁਕਤਾ

ਇੱਕ ਵਿਜ਼ਨ-ਓਨਲੀ ਡੈਮੋ ਜੋ ਇਸ ਲਈ ਸਫਲ ਹੁੰਦਾ ਹੈ ਕਿਉਂਕਿ ਮਾਡਲ ਪਹਿਲਾਂ ਹੀ ਉੱਤਰ ਜਾਣਦਾ ਹੈ, ਉਹ ਅਸਲ ਵਿਜ਼ੂਅਲ ਰੀਜ਼ਨਿੰਗ ਦਾ ਸਬੂਤ ਨਹੀਂ ਹੈ। ਬੈਂਚਮਾਰਕਸ ਨੂੰ ਯਾਦ ਰੱਖੇ ਗਏ ਗਿਆਨ ਅਤੇ ਤੁਰੰਤ ਅਨੁਭਵ (on-the-fly perception) ਨੂੰ ਵੱਖ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਨਹੀਂ ਤਾਂ ਉਹ ਅਸਲ ਵਿੱਚ ਅਣਜਾਣ ਵਿਜ਼ੂਅਲ ਦੁਨੀਆ ਵਿੱਚ ਅੱਗੇ ਵਧਣ ਦੀ AI ਦੀ ਯੋਗਤਾ ਨੂੰ ਵਧਾ-ਚੜ੍ਹਾ ਕੇ ਪੇਸ਼ ਕਰਨ ਦਾ ਖਤਰਾ ਲੈਂਦੇ ਹਨ।