ਗਣਿਤ ਦੀ ਡੂੰਘਾਈ ਵਿੱਚ: ਕਿਵੇਂ OpenAI ਦਾ Jalapeño ਚਿੱਪ AI ਅਰਥ ਸ਼ਾਸਤਰ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾ ਰਿਹਾ ਹੈ

OpenAI ਆਪਣਾ ਖੁਦ ਦਾ ਕਸਟਮ ਸਿਲੀਕਾਨ ਵਿਕਸਤ ਕਰਕੇ ਆਪਣੀ ਵਿਕਾਸ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਤੀਜੀ-ਪੱਖੀ ਹਾਰਡਵੇਅਰ ਦੀਆਂ ਵਧਦੀਆਂ ਲਾਗਤਾਂ ਤੋਂ ਵੱਖ ਕਰਨ ਲਈ ਤੇਜ਼ੀ ਨਾਲ ਕਦਮ ਚੁੱਕ ਰਿਹਾ ਹੈ। ਨਵਾਂ "Jalapeño" ਚਿੱਪ, ਜੋ ਕਿ Broadcom ਦੇ ਸਹਿਯੋਗ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਇੱਕ ਐਪਲੀਕੇਸ਼ਨ-ਸਪੈਸੀਫਿਕ ਇੰਟੀਗ੍ਰੇਟਡ ਸਰਕਟ (ASIC) ਹੈ, ਇਨਫਰੈਂਸ (inference) ਅਰਥ ਸ਼ਾਸਤਰ ਨੂੰ ਸੁਧਾਰਨ ਲਈ ਵਰਟੀਕਲ ਇੰਟੀਗ੍ਰੇਸ਼ਨ (vertical integration) ਵੱਲ ਇੱਕ ਰਣਨੀਤਕ ਮੋੜ ਹੈ।

Nvidia 'ਤੇ ਨਿਰਭਰਤਾ ਨੂੰ ਤੋੜਨਾ

ਸਾਲਾਂ ਤੋਂ, AI ਉਦਯੋਗ ਇੱਕ ਭਾਰੀ ਪੂੰਜੀ ਖਰਚ (capital expenditure) ਚੱਕਰ ਦੁਆਰਾ ਪਰਿਭਾਸ਼ਿਤ ਕੀਤਾ ਗਿਆ ਹੈ ਜਿਸ ਵਿੱਚ Nvidia ਦਾ ਦਬਦਬਾ ਰਿਹਾ ਹੈ। Nvidia ਇਸ ਸਮੇਂ ਲਗਭਗ 75% ਦੇ ਅਨੁਮਾਨਿਤ ਮੁਨਾਫਾ ਮਾਰਜਿਨ 'ਤੇ ਕਾਬੂ ਰੱਖ ਰਿਹਾ ਹੈ, ਜਿਸ ਕਾਰਨ ਵੱਡੇ ਪੱਧਰ ਦੇ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ ਅਤੇ ਲਾਗੂ ਕਰਨਾ ਬੌਧਿਕਤਾ (intelligence) ਦੇ ਪਸਾਰ ਲਈ ਇੱਕ ਵੱਡੀ ਰੁਕਾਵਟ ਬਣ ਗਿਆ ਹੈ। OpenAI ਦੁਆਰਾ Jalapeño ਚਿੱਪ ਦਾ ਵਿਕਾਸ ਇਸ ਆਰਥਿਕ ਦਬਾਅ ਦਾ ਸਿੱਧਾ ਜਵਾਬ ਹੈ।

ਜਨਰਲ-ਪਰਪਜ਼ GPU ਤੋਂ ਇੱਕ ਵਿਸ਼ੇਸ਼ ASIC ਵੱਲ ਵਧ ਕੇ, OpenAI ਦਾ ਉਦੇਸ਼ ਹਾਰਡਵੇਅਰ ਵੈਂਡਰਾਂ ਨੂੰ ਦਿੱਤੇ ਜਾਣ ਵਾਲੇ "ਟੈਕਸ" ਨੂੰ ਕਾਫ਼ੀ ਹੱਦ ਤੱਕ ਘਟਾਉਣਾ ਹੈ। Nvidia ਦੇ GPU ਦੇ ਉਲਟ, ਜੋ ਕਿ ਕੰਪਿਊਟਿੰਗ ਦੇ ਵਿਸ਼ਾਲ ਕੰਮਾਂ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ, Jalapeño ਚਿੱਪ ਨੂੰ ਖਾਸ ਤੌਰ 'ਤੇ LLM ਇਨਫਰੈਂਸ ਵਿੱਚ ਮੌਜੂਦ ਗਣਿਤਕ ਕੰਮਾਂ (workloads) ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ। ਇਹ ਵਿਸ਼ੇਸ਼ਤਾ ਵਧੇਰੇ ਕੁਸ਼ਲਤਾ, ਘੱਟ ਬਿਜਲੀ ਦੀ ਖਪਤ, ਅਤੇ ਅੰਤ ਵਿੱਚ, ਪ੍ਰਤੀ ਟੋਕਨ ਘੱਟ ਲਾਗਤ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ।

Broadcom ਦੇ ਨਾਲ ਸਹਿਯੋਗ ਅਤੇ ASIC ਦੇ ਫਾਇਦੇ

Broadcom ਦੇ ਨਾਲ ਭਾਈਵਾਲੀ ਇਸ ਰਣਨੀਤੀ ਦਾ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਹਿੱਸਾ ਹੈ। Broadcom ਸੈਮੀਕੰਡਕਟਰ ਖੇਤਰ ਵਿੱਚ ਇੱਕ ਤਜਰਬੇਕਾਰ ਕੰਪਨੀ ਹੈ, ਜੋ ਆਰਕੀਟੈਕਚਰਲ ਡਿਜ਼ਾਈਨ ਤੋਂ ਲੈ ਕੇ ਭੌਤਿਕ ਸਿਲੀਕਾਨ ਤੱਕ ਜਾਣ ਲਈ ਲੋੜੀਂਦੀ ਤਕਨੀਕੀ ਮੁਹਾਰਤ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ। ASIC ਪਹੁੰਚ ਦੀ ਵਰਤੋਂ ਕਰਕੇ, OpenAI ਆਪਣੇ ਮਾਡਲਾਂ ਦੁਆਰਾ ਲੋੜੀਂਦੇ ਵਿਸ਼ੇਸ਼ ਗਣਿਤਕ ਕਾਰਜਾਂ—ਜਿਵੇਂ ਕਿ ਮੈਟ੍ਰਿਕਸ ਮਲਟੀਪਲੀਕੇਸ਼ਨ ਅਤੇ ਅਟੈਂਸ਼ਨ ਮੈਕੈਨਿਜ਼ਮ—ਨੂੰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਹਾਰਡਵੇਅਰ ਸਰਕਟਰੀ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰ ਸਕਦਾ ਹੈ।

ਇਸ ਪੱਧਰ ਦੀ ਆਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਜਨਰਲ-ਪਰਪਜ਼ ਹਾਰਡਵੇਅਰ ਨਾਲ ਪ੍ਰਾਪਤ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੈ। ਇੱਕ ASIC ਬੇਕਾਰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਵਾਧੂ ਭਾਰ ਨੂੰ ਹਟਾ ਸਕਦਾ ਹੈ, ਅਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰ-ਅਧਾਰਤ ਆਰਕੀਟੈਕਚਰਾਂ ਲਈ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਕੰਪਿਊਟ ਯੂਨਿਟਾਂ ਲਈ ਵਧੇਰੇ ਡਾਈ ਏਰੀਆ (die area) ਸਮਰਪਿਤ ਕਰ ਸਕਦਾ ਹੈ। ਡਿਵੈਲਪਰਾਂ ਅਤੇ ਸੰਸਥਾਪਕਾਂ ਲਈ, ਇਹ ਤਬਦੀਲੀ ਇੱਕ ਅਜਿਹੇ ਭਵਿੱਖ ਦਾ ਸੰਕੇਤ ਦਿੰਦੀ ਹੈ ਜਿੱਥੇ ਮਾਡਲ ਦੀ ਤੈያਰੀ ਆਰਥਿਕ ਤੌਰ 'ਤੇ ਵਧੇਰੇ ਟਿਕਾਊ ਹੋ ਜਾਵੇਗੀ, ਜਿਸ ਨਾਲ ਸੰਭਵ ਤੌਰ 'ਤੇ ਮੌਜੂਦਾ ਲਾਗਤ ਦੇ ਇੱਕ ਛੋਟੇ ਹਿੱਸੇ 'ਤੇ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਰੀਜ਼ਨਿੰਗ ਮਾਡਲ ਚਲਾਏ ਜਾ ਸਕਣਗੇ।

AI ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਦ੍ਰਿਸ਼ ਲਈ ਪ੍ਰਭਾਵ

Jalapeño ਚਿੱਪ ਦਾ ਉਭਾਰ AI ਉਦਯੋਗ ਵਿੱਚ ਇੱਕ ਵਿਆਪਕ ਤਬਦੀਲੀ ਦਾ ਸੰਕੇਤ ਦਿੰਦਾ ਹੈ: "ਮਾਡਲ-ਹਾਰਡਵੇਅਰ ਕੋ-ਡਿਜ਼ਾਈਨ" (Model-Hardware Co-design) ਦਾ ਯੁੱਗ। ਜਿਵੇਂ-ਜਿਵੇਂ ਫਰੰਟੀਅਰ ਮਾਡਲ ਵਧੇਰੇ ਵਿਸ਼ੇਸ਼ ਹੁੰਦੇ ਜਾ ਰਹੇ ਹਨ, ਜਨਰਲ-ਪਰਪਜ਼ ਹਾਰਡਵੇਅਰ ਕੀ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਆਪਟੀਮਾਈਜ਼ਡ ਸਿਲੀਕਾਨ ਕੀ ਹਾਸਲ ਕਰ ਸਕਦਾ ਹੈ, ਇਸ ਵਿਚਕਾਰ ਦਾ ਪਾੜਾ ਹੋਰ ਵੀ ਵਧਦਾ ਜਾਵੇਗਾ।

ਜੇਕਰ OpenAI ਇਸ ਕਸਟਮ ਸਿਲੀਕਾਨ ਨੂੰ ਸਫਲਤਾਪੂਰਕ ਤਰੀਕੇ ਨਾਲ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਲਾਗੂ ਕਰਦਾ ਹੈ, ਤਾਂ ਇਹ ਇੱਕ ਮਜ਼ਬੂਤ ਮੁਕਾਬਲੇਬਾਜ਼ੀ ਦਾ ਫਾਇਦਾ (moat) ਪੈਦਾ ਕਰੇਗਾ। ਇਹ ਨਾ ਸਿਰਫ਼ ਪਸਾਰ ਦੀ ਸਿੱਧੀ ਲਾਗਤ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ, ਸਗੋਂ ਇੱਕ ਪ੍ਰਾਪਰਾਈਟਰੀ ਹਾਰਡਵੇਅਰ-ਸੌਫਟਵੇਅਰ ਸਟੈਕ ਵੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ ਜਿਸ ਨੂੰ ਸਿਰਫ਼ ਬਾਜ਼ਾਰ ਵਿੱਚ ਮੌਜੂਦ ਚਿੱਪਾਂ 'ਤੇ ਨਿਰਭਰ ਮੁਕਾਬਲੇਬਾਜ਼ ਕੀਮਤ-ਕਾਰਗੁਜ਼ਾਰੀ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਮੈਚ ਕਰਨ ਲਈ ਸੰਘਰਸ਼ ਕਰ ਸਕਦੇ ਹਨ। ਇਹ ਕਦਮ ਪੂਰੀ AI ਵੈਲਯੂ ਚੇਨ ਦੇ ਮੁਲਾਂਕਣ ਨੂੰ ਮਜ਼ਬੂਰ ਕਰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਉਦਯੋਗ ਇੱਕ ਅਜਿਹੇ ਮਾਡਲ ਵੱਲ ਵਧ ਰਿਹਾ ਹੈ ਜਿੱਥੇ ਸਭ ਤੋਂ ਸਫਲ AI ਲੈਬਾਂ ਸਭ ਤੋਂ ਕੁਸ਼ਲ ਹਾਰਡਵੇਅਰ ਆਰਕੀਟੈਕਟ ਵੀ ਹੋਣਗੀਆਂ।

ਮੁੱਖ ਗੱਲਾਂ

• ਲਾਗਤ ਘਟਾਉਣਾ: Jalapeño ਚਿੱਪ ਭਾਰੀ ਪੂੰਜੀ ਖਰਚਾਂ ਨੂੰ ਘਟਾਉਣ ਅਤੇ Nvidia ਵਰਗੇ ਹਾਰਡਵੇਅਰ ਪ੍ਰਦਾਤਾਵਾਂ ਦੇ ਉੱਚ ਮੁਨਾਫਾ ਮਾਰਜਿਨਾਂ ਤੋਂ ਬਚਣ ਲਈ ਇੱਕ ਰਣਨੀਤਕ ਕਦਮ ਹੈ।
• ਵਿਸ਼ੇਸ਼ ਆਰਕੀਟੈਕਚਰ: Broadcom ਦੇ ਨਾਲ ਵਿਕਸਤ ਕੀਤਾ ਗਿਆ, ਇਹ ASIC ਜਨਰਲ-ਪਰਪਜ਼ ਕੰਪਿਊਟਿੰਗ ਦੀ ਬਜਾਏ ਖਾਸ ਤੌਰ 'ਤੇ LLM ਇਨਫਰੈਂਸ ਦੀਆਂ ਗਣਿਤਕ ਲੋੜਾਂ ਲਈ ਅਨੁਕੂਲਿਤ ਹੈ।
• ਵਰਟੀਕਲ ਇੰਟੀਗ੍ਰੇਸ਼ਨ: OpenAI ਇੱਕ ਕੋ-ਡਿਜ਼ਾਈਨ ਮਾਡਲ ਵੱਲ ਵਧ ਰਿਹਾ ਹੈ, ਜਿੱਥੇ ਕਸਟਮ ਸਿਲੀਕਾਨ ਅਤੇ ਉੱਨਤ ਸੌਫਟਵੇਅਰ ਪ੍ਰਤੀ ਟੋਕਨ ਦੀ ਲਾਗਤ ਨੂੰ ਘਟਾਉਣ ਅਤੇ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਕੰਮ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਣ ਲਈ ਮਿਲ ਕੇ ਕੰਮ ਕਰਦੇ ਹਨ।