IBM ਨੇ Granite 4.2 ਲਾਰਜ ਲੈਂਗੂਏਜ ਮਾਡਲ ਫੈਮਿਲੀ ਲਾਂਚ ਕੀਤੀ ਹੈ, ਜੋ 3 ਬਿਲੀਅਨ, 8 ਬਿਲੀਅਨ ਅਤੇ 30 ਬਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਵੇਰੀਐਂਟਸ ਪੇਸ਼ ਕਰਦੀ ਹੈ। ਇਸ ਵਿੱਚ 512k-ਟੋਕਨ ਤੱਕ ਦੀ ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਅਤੇ ਇਨ-ਬਿਲਟ ਏਜੈਂਟਿਕ ਟੂਲ ਯੂਜ਼ ਦੀ ਸਹੂਲਤ ਹੈ, ਅਤੇ ਇਹ ਸਭ Apache 2.0 ਲਾਇਸੈਂਸ ਦੇ ਅਧੀਨ ਹੈ। ਇਹ ਕਦਮ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਇੱਕ ਦੁਰਲੱਭ ਓਪਨ-ਵੇਟ, ਐਂਟਰਪ੍ਰਾਈਜ਼-ਗ੍ਰੇਡ AI ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ ਜੋ ਵਿਸ਼ਾਲ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਤਰਕ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਪ੍ਰੋਪਰਾਈਟਰੀ APIs 'ਤੇ ਨਿਰਭਰ ਕੀਤੇ ਬਿਨਾਂ ਖੁਦਮੁਖਤਿਆਰ ਰੂਪ ਵਿੱਚ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ।

IBM ਦਾ ਓਪਨ-ਵੇਟ ਪੁਸ਼ ਹੁਣ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ

ਲਚਕਦਾਰ ਲਾਇਸੈਂਸ ਕੰਪਨੀਆਂ ਨੂੰ ਮਾਡਲਾਂ ਨੂੰ ਆਨ-ਪ੍ਰੈਮਿਸਿਸ, ਪ੍ਰਾਈਵੇਟ ਕਲਾਊਡਸ ਵਿੱਚ ਚਲਾਉਣ, ਜਾਂ ਬਿਨਾਂ ਕਿਸੇ ਲਾਇਸੈਂਸਿੰਗ ਫੀਸ ਦੇ ਐਜ ਡਿਵਾਈਸਿਸ ਵਿੱਚ ਇਨਬੈਡ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ—ਇਹ ਉਨ੍ਹਾਂ ਨਿਯਮਿਤ ਉਦਯੋਗਾਂ ਲਈ ਇੱਕ ਸਪੱਸ਼ਟ ਫਾਇਦਾ ਹੈ ਜੋ ਆਪਣਾ ਡੇਟਾ ਬਾਹਰੀ ਸੇਵਾਵਾਂ ਨਾਲ ਸਾਂਝਾ ਨਹੀਂ ਕਰ ਸਕਦੇ।

ਤਕਨੀਕੀ ਛਾਲ

  • ਸਕੇਲ ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਡੇਟਾ – IBM ਨੇ ਮਾਡਲਾਂ ਨੂੰ ਲਗਭਗ 15 ਟ੍ਰਿਲੀਅਨ ਟੋਕਨਸ 'ਤੇ ਸ਼ੁਰੂ ਤੋਂ ਸਿਖਲਾਈ ਦਿੱਤੀ ਹੈ, ਜੋ ਕਿ ਡੇਟਾ ਦਾ ਆਕਾਰ ਸਭ ਤੋਂ ਵੱਡੀਆਂ ਵਪਾਰਕ ਫਾਊਂਡੇਸ਼ਨਾਂ ਦੇ ਬਰਾਬਰ ਹੈ।
  • ਕੰਟੈਕਸਟ ਵਿੰਡੋ – 512k-ਟੋਕਨ ਵਿੰਡੋ ਇੱਕ ਵਾਰ ਵਿੱਚ ਪੂਰੇ ਕੋਡਬੇਸ, ਲੰਬੇ ਪਾਲਿਸੀ ਦਸਤਾਵੇਜ਼, ਜਾਂ ਕਈ ਅਧਿਆਇਾਂ ਵਾਲੀਆਂ ਕਿਤਾਬਾਂ ਨੂੰ ਕਵਰ ਕਰ ਸਕਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਚੰਕਿੰਗ ਅਤੇ ਮੁੜ-ਇਕੱਠੇ ਕਰਨ ਦੀ ਲੋੜ ਖਤਮ ਹੋ ਜਾਂਦੀ ਹੈ।
  • ਡਿਊਲ-ਮੋਡ ਕੰਪਿਊਟ – ਇੱਕ "thinking" ਮੋਡ ਡੂੰਘੇ ਤਰਕ ਵਾਲੇ ਲੇਅਰਸ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਇੱਕ "non-thinking" ਮੋਡ ਘੱਟ GPU ਮੰਗ ਨਾਲ ਸਧਾਰਨ ਲੁੱਕ-ਅੱਪਸ ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ। ਇਹ ਟੌਗਲ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਲੇਟੈਂਸੀ ਅਤੇ ਪ੍ਰਤੀ ਰਿਕਵੈਸਟ ਲਾਗਤ ਵਿਚਕਾਰ ਸੰਤੁਲਨ ਬਣਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
  • ਏਜੈਂਟਿਕ ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ – 8 B ਅਤੇ 30 B ਮਾਡਲਾਂ ਨੇ ਇੱਕ ਵਿਸ਼ੇਸ਼ RL ਪੜਾਅ ਤੋਂ ਗੁਜ਼ਰਿਆ ਹੈ ਜੋ ਉਹਨਾਂ ਨੂੰ ਬਾਹਰੀ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰਨ, ਸੈਂਡਬਾਕਸਡ ਕੋਡ ਚਲਾਉਣ ਅਤੇ ਵੈੱਬ ਸਰਚ ਕਰਨ ਦੀ ਸਿਖਲਾਈ ਦਿੰਦਾ ਹੈ। ਇਹ ਮਾਡਲ OpenAI-ਸਟਾਈਲ ਟੂਲ-ਕਾਲਿੰਗ ਐਂਡਪੁਆਇੰਟਸ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ, ਤਾਂ ਜੋ ਮੌਜੂਦਾ ਆਰਕੈਸਟ੍ਰੇਸ਼ਨ ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਬਿਨਾਂ ਕਿਸੇ ਮੁੜ-ਲਿਖਤ ਦੇ ਦੁਬਾਰਾ ਵਰਤਿਆ ਜਾ ਸਕੇ।
  • ਇਨਫਰੈਂਸ ਫ੍ਰੈਂਡਲੀਨੈੱਸ – vLLM ਅਤੇ SGLang ਦੇ ਨਾਲ ਅਨੁਕੂਲਤਾ ਮਾਡਲਾਂ ਨੂੰ ਆਮ ਹਾਰਡਵੇਅਰ 'ਤੇ ਉੱਚ ਥਰੂਪੁੱਟ 'ਤੇ ਚਲਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ, ਜੋ ਕਿ ਦਰਜਨਾਂ ਇਕਸਾਰ ਏਜੰਟਾਂ ਨੂੰ ਸਕੇਲ ਕਰਨ ਵਾਲੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਲਈ ਇੱਕ ਵਿਹਾਰਕ ਲਾਭ ਹੈ।

ਸਪੀਚ ਸਾਈਡ-ਟਰੈਕ: Granite Speech 5.0 Turbo CTC

LLM ਲਾਈਨ ਦੇ ਨਾਲ-ਨਾਲ, IBM ਨੇ Granite Speech 5.0 Turbo CTC ਨਾਮਕ ਇੱਕ 470 ਮਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਸਪੀਚ-ਟੂ-ਟੈਕਸਟ ਮਾਡਲ ਵੀ released ਕੀਤਾ ਹੈ। IBM ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਇਹ ਇੱਕ ਸਕਿੰਟ ਵਿੱਚ ਤਿੰਨ ਘੰਟੇ ਦਾ ਆਡੀਓ ਟ੍ਰਾਂਸਕ੍ਰਾਈਬ ਕਰਦਾ ਹੈ, ਜੋ ਕਿ Open ASR ਲੀਡਰਬੋਰਡ 'ਤੇ ਪਿਛਲੇ ਲੀਡਰਾਂ ਦੀ ਗਤੀ ਨਾਲੋਂ ਦੁੱਗਣੀ ਹੈ। ਇਸਦਾ ਛੋਟਾ ਫੁੱਟਪ੍ਰਿੰਟ ਅਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਥਰੂਪੁੱਟ ਇਸਨੂੰ ਰੀਅਲ-ਟਾਈਮ ਕੈਪਸ਼ਨਿੰਗ, ਕਾਲ-ਸੈਂਟਰ ਐਨਾਲਿਟਿਕਸ, ਅਤੇ ਵੱਡੇ ਪੱਧਰ ਦੇ ਆਡੀਓ ਇੰਜੈਸਸ਼ਨ ਪਾਈਪਲਾਈਨਾਂ ਲਈ ਇੱਕ ਉੱਤਮ ਉਮੀਦਵਾਰ ਬਣਾਉਂਦਾ ਹੈ।

AI ਈਕੋਸਿਸਟਮ ਲਈ ਦਾਅਵਾਂ

ਕੌਣ ਜਿੱਤੇਗਾ:

  • ਐਂਟਰਪ੍ਰਾਈਜ਼ਸ ਮਹਿੰਗੇ API ਦੀ ਵਰਤੋਂ ਦੇ ਬਦਲੇ ਇੱਕ ਲਾਗਤ-ਪ੍ਰਭਾਵਸ਼ਾਲੀ, ਸੈਲਫ-ਹੋਸਟਡ ਵਿਕਲਪ ਪ੍ਰਾਪਤ ਕਰਨਗੇ।
  • ਡਿਵੈਲਪਰਜ਼ ਨੂੰ ਇੱਕ ਤਿਆਰ-ਮੁਹੱਈਆ ਏਜੈਂਟਿਕ ਸਟੈਕ ਮਿਲੇਗਾ ਜਿਸ ਨੂੰ ਵਪਾਰਕ ਲਾਇਸੈਂਸਾਂ ਦੀ ਗੱਲਬਾਤ ਕੀਤੇ ਬਿਨਾਂ ਕਸਟਮਾਈਜ਼ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
  • IBM ਇੱਕ ਪ੍ਰਮੁੱਖ ਓਪਨ-ਸੋਰਸ ਪੇਸ਼ਕਸ਼ ਪ੍ਰਦਾਨ ਕਰਕੇ AI ਦੌੜ ਵਿੱਚ ਆਪਣੀ ਪ੍ਰਸੰਗਿਕਤਾ ਨੂੰ ਦੁਬਾਰਾ ਸਾਬਤ ਕਰਦਾ ਹੈ ਜੋ ਇਸਦੀ ਖੋਜ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ।

ਕਿਸ ਨੂੰ ਖ਼ਤਰਾ ਹੈ:

  • ਕਲੋਜ਼ਡ-ਸੋਰਸ ਪ੍ਰੋਵਾਈਡਰ ਜੋ ਪ੍ਰੋਪਰਾਈਟਰੀ ਮਾਡਲਾਂ ਰਾਹੀਂ ਲੌਕ-ਇਨ 'ਤੇ ਨਿਰਭਰ ਹਨ, ਉਹਨਾਂ ਦੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਖਰਚਿਆਂ ਵਿੱਚ ਗਿਰਾਵਟ ਆ ਸਕਦੀ ਹੈ ਜੇਕਰ ਗਾਹਕ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਹੋਸਟ ਕੀਤੇ granite ਏਜੰਟਾਂ ਵੱਲ ਵਧਦੇ ਹਨ।
  • ਛੋਟੇ ਓਪਨ-ਸੋਰਸ ਪ੍ਰੋਜੈਕਟਾਂ ਦੀ ਮਹੱਤਤਾ ਘਟ ਸਕਦੀ ਹੈ; Granite ਦਾ ਸਕੇਲ ਅਤੇ ਟੂਲਿੰਗ ਸਪੋਰਟ ਕਮਿਊਨਿਟੀ-ਡਰਿਵਨ ਯਤਨਾਂ ਲਈ ਇੱਕ ਉੱਚ ਮਿਆਰ ਸੈੱਟ ਕਰਦਾ ਹੈ।

ਲਾਗਤਾਂ ਅਤੇ ਸਮਝੌਤੇ: ਅੱਧਾ ਮਿਲੀਅਨ ਟੋਕਨ ਕੰਟੈਕਸਟ ਦੇ ਨਾਲ 30 B ਮਾਡਲ ਚਲਾਉਣ ਲਈ ਅਜੇ ਵੀ ਹਾਈ-ਐਂਡ GPUs ਜਾਂ ਕਲਸਟਰਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ; ਸੰਸਥਾਵਾਂ ਨੂੰ API ਫੀਸ ਦੀ ਬਚਤ ਦੇ ਮੁਕਾਬਲੇ ਹਾਰਡਵੇਅਰ ਨਿਵੇਸ਼ ਨੂੰ ਤੋਲਣਾ ਚਾਹੀਦਾ ਹੈ।

ਸਿੱਟਾ

Granite 4.2 ਸੱਚਮੁੱਚ ਐਂਟਰਪ੍ਰਾਈਜ਼-ਗ੍ਰੇਡ, ਓਪਨ-ਵੇਟ AI ਨੂੰ ਜਨਤਕ ਖੇਤਰ ਵਿੱਚ ਲਿਆਉਂਦਾ ਹੈ, ਜੋ ਵਿਸ਼ਾਲ ਕੰਟੈਕਸਟ ਵਿੰਡੋਜ਼ ਨੂੰ ਆਊਟ-ਆਫ-ਦ-ਬਾਕਸ ਟੂਲ ਯੂਜ਼ ਦੇ ਨਾਲ ਜੋੜਦਾ ਹੈ। ਇਸਦਾ Apache 2.0 ਲਾਇਸੈਂਸ ਕਾਨੂੰਨੀ ਰੁਕਾਵਟਾਂ ਨੂੰ ਦੂਰ ਕਰਦਾ ਹੈ, ਪਰ ਹਾਰਡਵੇਅਰ ਅਤੇ ਸੁਰੱਖਿਆ ਚੁਣੌਤੀਆਂ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਇਹ ਮਾਡਲ ਪਹਿਲਾਂ ਉਨ੍ਹਾਂ ਸੰਸਥਾਵਾਂ ਵਿੱਚ ਆਪਣੀ ਜਗ੍ਹਾ ਬਣਾਏਗਾ ਜੋ ਕੰਪਿਊਟ ਦਾ ਖਰਚਾ ਚੁੱਕ ਸਕਦੀਆਂ ਹਨ ਅਤੇ ਮਜ਼ਬੂਤ ਸੈਂਡਬਾਕਸਿੰਗ ਵਿੱਚ ਨਿਵੇਸ਼ ਕਰ ਸਕਦੀਆਂ ਹਨ। ਜੇਕਰ ਕਮਿਊਨਿਟੀ ਇਸ ਦੇ ਨਾਲ ਇਕੱਠੀ ਹੁੰਦੀ ਹੈ, ਤਾਂ Granite ਅਗਲੀ ਪੀੜ੍ਹੀ ਦੇ ਖੁਦਮੁਖਤਿਆਰ ਏਜੰਟਾਂ ਦੀ ਰੀੜ੍ਹ ਦੀ ਹੱਡੀ ਬਣ ਸਕਦਾ ਹੈ, ਜੋ ਵਿਸ਼ਾਲ AI ਬਾਜ਼ਾਰ ਨੂੰ ਅਜਿਹੇ ਓਪਨ-ਸੋਰਸ ਵਿਕਲਪਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕਰੇਗਾ ਜੋ ਹੁਣ ਸਕੇਲ ਜਾਂ ਸਮਰੱਥਾ ਨਾਲ ਸਮਝੌਤਾ ਨਹੀਂ ਕਰਦੇ।