Claude ਦੀ ਅੰਦਰੂਨੀ ਤਰਕ ਪ੍ਰਕਿਰਿਆ ਦੀ ਡੀਕੋਡਿੰਗ ਅਤੇ ਵਰਲਡ ਮਾਡਲਾਂ ਦਾ ਉਭਾਰ

ਆਰਟੀਫੀਸ਼ੀਅਲ ਜਨਰਲ ਇੰਟੈਲੀਜੈਂਸ (AGI) ਦੀ ਭਾਲ ਹੁਣ ਸਿਰਫ਼ ਪੈਟਰਨ ਪਛਾਣ ਤੋਂ ਹਟ ਕੇ ਡੂੰਘੇ ਤਰਕ ਅਤੇ ਭੌਤਿਕ ਸਮਝ ਵੱਲ ਵਧ ਰਹੀ ਹੈ। ਮਾਡਲ ਦੀ ਵਿਆਖਿਆਯੋਗਤਾ (interpretability) ਦੇ ਸਬੰਧ ਵਿੱਚ Anthropic ਦੀਆਂ ਹਾਲੀਆ ਪ੍ਰਾਪਤੀਆਂ ਅਤੇ "ਵਰਲਡ ਮਾਡਲਾਂ" ਦੇ ਉਭਰ ਰਹੇ ਸੰਕਲਪ LLMs ਦੀ ਬੁੱਧੀ ਪ੍ਰਤੀ ਸਾਡੇ ਨਜ਼ਰੀਏ ਨੂੰ ਮੁੜ ਪਰਿਭਾਸ਼ਿਤ ਕਰ ਰਹੇ ਹਨ।

Claude ਦੀਆਂ ਅੰਦਰੂਨੀ ਵਿਚਾਰ ਪ੍ਰਕਿਰਿਆਵਾਂ ਵਿੱਚ ਝਾਤ ਮਾਰਨਾ

Anthropic ਨੇ ਹਾਲ ਹੀ ਵਿੱਚ "ਮੈਕੈਨਿਸਟਿਕ ਇੰਟਰਪ੍ਰੇਟੇਬਿਲਟੀ" (mechanistic interpretability) ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਪ੍ਰਗਤੀ ਕੀਤੀ ਹੈ, ਜੋ ਕਿ ਉਸਦੇ Claude ਮਾਡਲਾਂ ਦੀਆਂ ਅੰਦਰੂਨੀ ਤਰਕ ਪ੍ਰਕਿਰਿਆਵਾਂ ਵਿੱਚ ਇੱਕ ਨਵੀਂ ਖਿੜਕੀ ਖੋਲ੍ਹਦੀ ਹੈ। ਜਦੋਂ ਕਿ LLMs ਦੀ ਲੰਬੇ ਸਮੇਂ ਤੋਂ "ਬਲੈਕ ਬਾਕਸ" ਵਜੋਂ ਆਲੋਚਨਾ ਕੀਤੀ ਜਾਂਦੀ ਰਹੀ ਹੈ, Anthropic ਦਾ ਖੋਜ ਕਾਰਜ ਇਹ ਨਕਸ਼ਾ ਤਿਆਰ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ ਕਿ ਇਹ ਮਾਡਲ ਕਿਸੇ ਉੱਤਰ ਤੱਕ ਪਹੁੰਚਣ ਲਈ ਗੁੰਝਲਦਾਰ ਤਰਕਾਂ ਰਾਹੀਂ ਕਿਵੇਂ ਅੱਗੇ ਵਧਦੇ ਹਨ।

ਇਹਨਾਂ "ਅੰਦਰੂਨੀ ਵਿਚਾਰਾਂ" ਦਾ ਨਿਰੀਖਣ ਕਰਕੇ, ਖੋਜਕਰਤਾ ਮਾਡਲ ਦੇ ਕੱਚੇ ਟ੍ਰੇਨਿੰਗ ਡੇਟਾ ਅਤੇ ਮਲਟੀ-ਸਟੈਪ ਤਰਕ ਕਰਨ ਦੀ ਇਸਦੀ ਯੋਗਤਾ ਵਿਚਕਾਰਲੇ ਅੰਤਰ ਨੂੰ ਬਿਹਤਰ ਤਰੀਕੇ ਨਾਲ ਸਮਝ ਸਕਦੇ ਹਨ। ਹਾਲਾਂਕਿ, ਮਾਹਿਰਾਂ ਨੇ ਚੇਤਾਵਨੀ ਦਿੱਤੀ ਹੈ ਕਿ ਹਾਲਾਂਕਿ ਇਹ ਦ੍ਰਿਸ਼ਟੀਗੋਚਰਤਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਪਰ ਇਹ ਅਜੇ ਤੱਕ ਹਰ ਨਿਊਰਲ ਵੇਟ (neural weight) 'ਤੇ ਪੂਰਾ ਕੰਟਰੋਲ ਨਹੀਂ ਦਿੰਦਾ। ਇਹਨਾਂ ਅੰਦਰੂਨੀ ਮਕੈਨਿਕਸ ਨੂੰ ਸਮਝਣਾ ਉਹਨਾਂ ਡਿਵੈਲਪਰਾਂ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ ਜੋ ਹਲੂਸੀਨੇਸ਼ਨ (hallucinations) ਨੂੰ ਘਟਾਉਣਾ ਚਾਹੁੰਦੇ ਹਨ ਅਤੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਵਧੇਰੇ ਭਰੋਸੇਯੋਗ ਅਤੇ ਕੰਟਰੋਲਯੋਗ AI ਏਜੰਟ ਬਣਾਉਣਾ ਚਾਹੁੰਦੇ ਹਨ।

ਰੋਬੋਟਿਕਸ ਵਿੱਚ ਵਰਲਡ ਮਾਡਲਾਂ ਦੀ ਲੋੜ

Claude ਵਰਗੇ ਮਾਡਲਾਂ ਦੀ ਭਾਸ਼ਾਈ ਮੁਹਾਰਤ ਦੇ ਬਾਵਜੂਦ, ਇੱਕ ਵੱਡਾ ਅੰਤਰ ਬਾਕੀ ਹੈ: ਭੌਤਿਕ ਅਨੁਭਵ (physical intuition) ਦੀ ਘਾਟ। ਮੌਜੂਦਾ AI ਪ੍ਰਣਾਲੀਆਂ ਟੈਕਸਟ ਅਤੇ ਕੋਡ ਤਿਆਰ ਕਰਨ ਵਿੱਚ ਉੱਤਮ ਹਨ ਪਰ ਭੌਤਿਕ ਬ੍ਰਹਿਮੰਡ ਦੇ ਕਾਰਨ-ਅਧਾਰਤ ਨਿਯਮਾਂ ਨੂੰ ਸਮਝਣ ਵਿੱਚ ਸੰਘਰਸ਼ ਕਰਦੀਆਂ ਹਨ। ਇਸ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ, ਉਦਯੋਗ "ਵਰਲਡ ਮਾਡਲਾਂ" ਵੱਲ ਵਧ ਰਿਹਾ ਹੈ।

ਵਰਲਡ ਮਾਡਲ ਇੱਕ ਅੰਦਰੂਨੀ ਪ੍ਰਤੀਨਿਧਤਾ ਹੈ ਜੋ ਇੱਕ AI ਨੂੰ ਭੌਤਿਕ ਵਾਤਾਵਰਣ ਦੇ ਅੰਦਰ ਆਪਣੇ ਕਾਰਜਾਂ ਦੇ ਨਤੀਜਿਆਂ ਦਾ ਅਨੁਕ੍ਰਿਮਣ (simulate) ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ। ਸਟੈਂਡਰਡ LLMs ਦੇ ਉਲਟ ਜੋ ਇੱਕ ਲੜੀ ਵਿੱਚ ਅਗਲੇ ਟੋਕਨ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਦੇ ਹਨ, ਇੱਕ ਵਰਲਡ ਮਾਡਲ ਨਾਲ ਲੈਸ ਪ੍ਰਣਾਲੀ ਇਹ ਭਵਿੱਖਬਾਣੀ ਕਰ ਸਕਦੀ ਹੈ ਕਿ ਕੋਈ ਵਸਤੂ ਕਿਵੇਂ ਡਿੱਗੇਗੀ, ਗੁਰੂਤਾਕਰਸ਼ਣ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ, ਜਾਂ ਇੱਕ ਰੋਬੋਟਿਕ ਬਾਹ (arm) ਨੂੰ ਭਰੇ ਹੋਏ ਕਮਰੇ ਵਿੱਚ ਕਿਵੇਂ ਚੱਲਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਹ ਤਕਨਾਲੋਜੀ ਸੱਚਮੁੱਚ ਬੁੱਧੀਮਾਨ ਰੋਬੋਟਿਕਸ ਲਈ ਇੱਕ ਸੰਭਾਵਿਤ ਪੁਲ ਹੈ, ਜੋ ਮਸ਼ੀਨਾਂ ਨੂੰ ਸਧਾਰਨ ਪ੍ਰੋਗਰਾਮ ਕੀਤੇ ਸਾਧਨਾਂ ਤੋਂ ਸਵੈ-ਚਾਲਿਤ (autonomous) ਏਜੰਟਾਂ ਵਿੱਚ ਬਦਲ ਦਿੰਦੀ ਹੈ ਜੋ ਅਸਲ ਦੁਨੀਆ ਵਿੱਚ ਅੰਤਰਕਿਰਿਆ ਕਰਨ ਦੇ ਯੋਗ ਹਨ।

ਵਿਆਪਕ ਤਕਨੀਕੀ ਤਬਦੀਲੀਆਂ: ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਅਤੇ ਹਾਰਡਵੇਅਰ ਦੀਆਂ ਸੀਮਾਵਾਂ

AI ਦਾ ਵਿਕਾਸ ਕਿਸੇ ਖਾਲੀ ਅੰਤਰਾਲ ਵਿੱਚ ਨਹੀਂ ਹੋ ਰਿਹਾ; ਇਸ ਨੂੰ ਸਖ਼ਤ ਰੈਗੂਲੇਟਰੀ ਅਤੇ ਹਾਰਡਵੇਅਰ ਦਬਾਅ ਦੁਆਰਾ ਰੂਪ ਦਿੱਤਾ ਜਾ ਰਿਹਾ ਹੈ। ਜਿਵੇਂ-ਜਿਵੇਂ AI ਸਕੈਲਿੰਗ ਲਈ ਵਧੇਰੇ ਸ਼ਕਤੀ ਦੀ ਲੋੜ ਪੈ ਰਹੀ ਹੈ, ਨਿਊਯਾਰਕ ਡੇਟਾ ਸੈਂਟਰਾਂ 'ਤੇ ਰੋਕ (moratorium) ਲਗਾਉਣ ਵਾਲਾ ਪਹਿਲਾ ਅਮਰੀਕੀ ਰਾਜ ਬਣ ਗਿਆ ਹੈ, ਜਿਸ ਨਾਲ ਇੱਕ ਸਾਲ ਤੱਕ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਉਸਾਰੀ ਨੂੰ ਰੋਕ ਦਿੱਤਾ ਗਿਆ ਹੈ। ਇਹ ਕੰਪਿਊਟ (compute) ਦੀ ਪਿਆਸ ਅਤੇ ਸਥਾਨਕ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀਆਂ ਸੀਮਾਵਾਂ ਵਿਚਕਾਰ ਵਧਦੇ ਤਣਾਅ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।

ਇਸ ਦੇ ਨਾਲ ਹੀ, ਹਾਰਡਵੇਅਰ ਲੇਅਰ ਅਸਥਿਰਤਾ ਦਾ ਸਾਹਮਣਾ ਕਰ ਰਹੀ ਹੈ। ਮੈਮੋਰੀ ਚਿੱਪ ਦੀ ਭਾਰੀ ਕਮੀ ਕਾਰਨ ਸਮਾਰਟਫੋਨ ਦੀ Shipments 13 ਸਾਲਾਂ ਦੇ ਨੀਵੇਂ ਪੱਧਰ 'ਤੇ ਪਹੁੰਚ ਗਈ ਹੈ, ਜੋ ਮੂਰ ਦੇ ਨਿਯਮ (Moore’s Law) ਦੇ ਰਵਾਇਤੀ ਰਸਤੇ ਲਈ ਖਤਰਾ ਹੈ। ਭਾਵੇਂ Nvidia ਵਰਗੀਆਂ ਕੰਪਨੀਆਂ ਚੀਨ ਨੂੰ ਹਾਈ-ਐਂਡ AI ਚਿੱਪਾਂ ਦੀ ਸਪਲਾਈ ਨੂੰ ਕੰਟਰੋਲ ਕਰਨ ਲਈ ਸਖ਼ਤ "ਵਾਈਟ ਲਿਸਟਾਂ" ਨੂੰ ਲਾਗੂ ਕਰ ਰਹੀਆਂ ਹਨ, ਫਿਰ ਵੀ AI ਵਿਕਾਸ ਲਈ ਵਿਸ਼ਵਵਿਆਪੀ ਦ੍ਰਿਸ਼ ਸਪਲਾਈ ਚੇਨ ਦੀਆਂ ਸੀਮਾਵਾਂ ਅਤੇ ਭੂ-ਰਾਜਨੀਤਿਕ ਚਾਲਾਂ ਦਾ ਇੱਕ ਗੁੰਝਲਦਾਰ ਮੈਦਾਨ ਬਣਿਆ ਹੋਇਆ ਹੈ।

ਮੁੱਖ ਨੁਕਤੇ

• ਵਿਆਖਿਆਯੋਗਤਾ (Interpretability) ਅੱਗੇ ਵਧ ਰਹੀ ਹੈ: Claude ਦੀ ਅੰਦਰੂਨੀ ਤਰਕ ਪ੍ਰਕਿਰਿਆ 'ਤੇ Anthropic ਦਾ ਕੰਮ LLMs ਵਿੱਚ "ਬਲੈਕ ਬਾਕਸ" ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਵੱਲ ਇੱਕ ਵੱਡਾ ਕਦਮ ਹੈ।
• ਵਰਲਡ ਮਾਡਲ ਅਗਲੀ ਸਰਹੱਦ ਹਨ: ਟੈਕਸਟ ਤੋਂ ਅੱਗੇ ਵਧ ਕੇ ਭੌਤਿਕ ਸਿਮੂਲੇਸ਼ਨ (physical simulation) ਵੱਲ ਵਧਣਾ ਅਗਲੀ ਪੀੜ੍ਹੀ ਦੀ ਸਵੈ-ਚਾਲਿਤ ਰੋਬੋਟਿਕਸ ਲਈ ਜ਼ਰੂਰੀ ਹੈ।
• ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਇੱਕ ਰੁਕਾਵਟ ਹੈ: ਡੇਟਾ ਸੈਂਟਰਾਂ 'ਤੇ ਰੋਕ ਅਤੇ ਮੈਮੋਰੀ ਚਿੱਪ ਦੀ ਕਮੀ ਤੇਜ਼ੀ ਨਾਲ AI ਸਕੈਲਿੰਗ ਲਈ ਵੱਡੀਆਂ ਰੁਕਾਵਟਾਂ ਪੈਦਾ ਕਰ ਰਹੀਆਂ ਹਨ।