OpenAI Jalapeño ਚਿੱਪ: OpenAI ਕਿਵੇਂ AI ਲਾਗਤਾਂ ਨੂੰ 50% ਤੱਕ ਘਟਾ ਰਿਹਾ ਹੈ

OpenAI ਅਤੇ Broadcom ਨੇ ਹੁਣੇ Jalapeño ਦਾ ਖੁਲਾਸਾ ਕੀਤਾ ਹੈ। ਇਹ ਇੱਕ ਕਸਟਮ ਚਿੱਪ ਹੈ ਜੋ ਸਿਰਫ਼ ਇੱਕ ਹੀ ਕੰਮ ਲਈ ਬਣਾਈ ਗਈ ਹੈ: ਲਾਰਜ ਲੈਂਗੂਏਜ ਮਾਡਲ (large language models) ਨੂੰ ਚਲਾਉਣਾ।

ਇਹ ਚਿੱਪ Nvidia GPUs ਦੇ ਮੁਕਾਬਲੇ ਇਨਫਰੈਂਸ (inference) ਲਾਗਤਾਂ ਨੂੰ 50% ਤੱਕ ਘਟਾ ਸਕਦੀ ਹੈ। ਇੰਜੀਨੀਅਰਿੰਗ ਸੈਂਪਲ ਪਹਿਲਾਂ ਹੀ GPT-5.3-Codex-Spark ਚਲਾ ਰਹੇ ਹਨ। ਇਸਦਾ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਉਤਪਾਦਨ 2026 ਦੇ ਅਖੀਰ ਤੱਕ ਸ਼ੁਰੂ ਹੋ ਜਾਵੇਗਾ।

OpenAI ChatGPT ਇਨਫਰੈਂਸ 'ਤੇ ਹਰ ਸਾਲ ਲਗਭਗ $14 ਬਿਲੀਅਨ ਖਰਚ ਕਰਦਾ ਹੈ। ਇਹ ਉਹਨਾਂ ਦੀ ਕੁੱਲ ਆਮਦਨੀ ਨਾਲੋਂ ਵੀ ਜ਼ਿਆਦਾ ਹੈ। ਇਸ ਲਾਗਤ ਨੂੰ 50% ਘਟਾਉਣ ਨਾਲ ਉਹਨਾਂ ਦੇ ਹਰ ਸਾਲ $7 ਬਿਲੀਅਨ ਬਚਣਗੇ। ਇਹ ਕਦਮ OpenAI ਨੂੰ 2026 ਦੇ ਸੰਭਾਵਿਤ IPO ਲਈ ਤਿਆਰ ਹੋਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ।

ਇਹ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ:

ਜ਼ਿਆਦਾਤਰ AI ਹਾਰਡਵੇਅਰ GPUs ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। GPUs ਆਮ ਸੰਦ (general tools) ਹਨ। ਉਹ ਗ੍ਰਾਫਿਕਸ, ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਇਨਫਰੈਂਸ ਦਾ ਕੰਮ ਕਰਦੇ ਹਨ। ਇਹ ਲਚਕਤਾ ਵਾਧੂ ਖਰਚਾ (overhead) ਪੈਦਾ ਕਰਦੀ ਹੈ।

Jalapeño ਇੱਕ ASIC ਹੈ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਇਹ ਇੱਕ ਖਾਸ ਕੰਮ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ। ਇਹ ਸਿਰਫ਼ ਮਾਡਲਾਂ ਦੇ ਟ੍ਰੇਨ ਹੋਣ ਤੋਂ ਬਾਅਦ ਉਹਨਾਂ ਨੂੰ ਚਲਾਉਣ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਦਾ ਹੈ। ਇਹ ਇੱਕ ਆਮ GPU ਨਾਲੋਂ ਵਧੇਰੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਮੈਮੋਰੀ ਅਤੇ ਨੈੱਟਵਰਕਿੰਗ ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ।

ਮੁੱਖ ਵੇਰਵੇ:

• ਇਹ TSMC 3nm ਤਕਨਾਲੋਜੀ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। • OpenAI ਨੇ ਇਸਦੇ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਡਿਜ਼ਾਈਨ ਕੀਤਾ ਹੈ। • Broadcom ਨੇ ਸਿਲੀਕਾਨ ਇੰਪਲੀਮੈਂਟੇਸ਼ਨ (silicon implementation) ਨੂੰ ਸੰਭਾਲਿਆ। • Microsoft ਪਹਿਲੀ ਬੈਚ ਦਾ 40% ਖਰੀਦੇਗਾ।

OpenAI ਨੇ ਇਸ ਚਿੱਪ ਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਨ ਲਈ ਆਪਣੇ ਖੁਦ ਦੇ AI ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ। AI ਨੇ ਕੋਡ ਲਿਖਿਆ ਅਤੇ ਲੇਆਉਟਸ (layouts) ਨੂੰ ਆਪਟੀਮਾਈਜ਼ ਕੀਤਾ। ਇਹ ਇੱਕ ਚੱਕਰ ਬਣਾਉਂਦਾ ਹੈ: AI ਬਿਹਤਰ ਚਿੱਪ ਡਿਜ਼ਾਈਨ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ, ਅਤੇ ਬਿਹਤਰ ਚਿੱਪ ਬਿਹਤਰ AI ਚਲਾਉਂਦੀ ਹੈ।

ਤੁਹਾਡੇ ਲਈ ਇਸਦਾ ਕੀ ਮਤਲਬ ਹੈ:

ਜੇਕਰ ਤੁਸੀਂ OpenAI API ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ 12 ਤੋਂ 18 ਮਹੀਨਿਆਂ ਵਿੱਚ ਇਹ ਬਦਲਾਅ ਦੇਖ ਸਕਦੇ ਹੋ:

  • API ਦੀਆਂ ਘੱਟ ਕੀਮਤਾਂ: OpenAI ਲਈ ਘੱਟ ਲਾਗਤ ਡਿਵੈਲਪਰਾਂ ਲਈ ਸਸਤੀਆਂ ਦਰਾਂ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ।
  • ਤੇਜ਼ ਰਫਤਾਰ: ਚਿੱਪ ਨੂੰ ਟ੍ਰਾਂਸਫਾਰਮਰ ਮਾਡਲਾਂ (transformer models) ਲਈ ਟਿਊਨ ਕੀਤਾ ਗਿਆ ਹੈ, ਜੋ ਲੇਟੈਂਸੀ (latency) ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ।
  • ਸਸਤੀਆਂ ਸਬਸਕ੍ਰਿਪਸ਼ਨਾਂ: ChatGPT Plus ਦੀਆਂ ਕੀਮਤਾਂ ਘਟ ਸਕਦੀਆਂ ਹਨ ਜਾਂ ਇਸ ਵਿੱਚ ਹੋਰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਸ਼ਾਮਲ ਹੋ ਸਕਦੀਆਂ ਹਨ।

ਵਿਚਾਰਨਯੋਗ ਜੋਖਮ ਹਨ:

  • ਕੋਈ ਸੁਤੰਤਰ ਟੈਸਟ ਨਹੀਂ: ਜ਼ਿਆਦਾਤਰ ਡੇਟਾ ਖੁਦ OpenAI ਤੋਂ ਆਉਂਦਾ ਹੈ।
  • ਸੀਮਤ ਵਰਤੋਂ: ਇਹ ਚਿੱਪ ਮਾਡਲਾਂ ਨੂੰ ਟ੍ਰੇਨ ਨਹੀਂ ਕਰ ਸਕਦੀ। ਟ੍ਰੇਨਿੰਗ ਲਈ ਤੁਹਾਨੂੰ ਅਜੇ ਵੀ Nvidia ਦੀ ਲੋੜ ਹੈ।
  • ਨਵੀਂ ਨਿਰਭਰਤਾ: OpenAI, Nvidia ਤੋਂ Broadcom ਵੱਲ ਵਧ ਰਿਹਾ ਹੈ।
  • ਭਵਿੱਖ ਦੀ ਤਕਨਾਲੋਜੀ: ਜੇਕਰ AI ਮਾਡਲ ਆਪਣੀ ਬਣਤਰ ਬਦਲਦੇ ਹਨ, ਤਾਂ ਇਸ ਚਿੱਪ ਦੀ ਕੀਮਤ ਘਟ ਸਕਦੀ ਹੈ।

OpenAI ਹੁਣ ਸਿਰਫ਼ ਇੱਕ AI ਲੈਬ ਨਹੀਂ ਰਹੀ। ਇਹ ਹੁਣ ਇੱਕ ਇਨਫਰਾਸਟ੍ਰਕਚਰ (infrastructure) ਕੰਪਨੀ ਹੈ। ਉਹ ਮਾਡਲਾਂ, ਸਾਫਟਵੇਅਰ ਅਤੇ ਹੁਣ ਹਾਰਡਵੇਅਰ ਨੂੰ ਵੀ ਕੰਟਰੋਲ ਕਰਦੇ ਹਨ।

Source: https://dev.to/tekmag/openai-jalapeno-chip-how-openais-custom-inference-asic-slashes-ai-costs-by-50%

Optional learning community: https://t.me/GyaanSetuAi