ਅਜਿਹੀਆਂ ਰਿਪੋਰਟਾਂ ਹਨ ਕਿ Apple, Khosla Ventures ਦੁਆਰਾ ਸਮਰਥਿਤ ਇੱਕ ਸਟਾਰਟਅੱਪ PrismML ਨਾਲ ਆਪਣੇ ਈਕੋਸਿਸਟਮ ਵਿੱਚ ਉੱਨਤ ਮਾਡਲ ਕੰਪਰੈਸ਼ਨ ਤਕਨਾਲੋਜੀ ਨੂੰ ਜੋੜਨ ਲਈ ਮੁੱਢਲੀ ਚਰਚਾ ਕਰ ਰਿਹਾ ਹੈ। ਇਸ ਕਦਮ ਦਾ ਉਦੇਸ਼ ਸੋਫਿਸਟਿਕੇਟਡ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਨੂੰ ਸਿੱਧਾ iPhone 'ਤੇ ਲਿਆਉਣਾ ਹੈ, ਜੋ ਮੋਬਾਈਲ ਹਾਰਡਵੇਅਰ ਦੀਆਂ ਸੀਮਾਵਾਂ ਅਤੇ ਆਧੁਨਿਕ Large Language Models (LLMs) ਦੀ ਵਿਸ਼ਾਲ ਕੰਪਿਊਟੇਸ਼ਨਲ ਲੋੜਾਂ ਵਿਚਕਾਰਲੇ ਪਾੜੇ ਨੂੰ ਪੂਰਦਾ ਹੈ।

On-Device AI ਦੀ ਸੀਮਾ ਨੂੰ ਹੱਲ ਕਰਨਾ

ਜਿਵੇਂ ਹੀ Apple iOS 18 ਅਤੇ ਇੱਕ ਨਵੇਂ ਡਿਜ਼ਾਈਨ ਵਾਲੇ Siri ਨੂੰ ਲਾਂਚ ਕਰ ਰਿਹਾ ਹੈ, ਕੰਪਨੀ ਨੂੰ ਇੱਕ ਵੱਡੀ ਤਕਨੀਕੀ ਰੁਕਾਵਟ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈ ਰਿਹਾ ਹੈ: ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਵਾਲੇ AI ਮਾਡਲਾਂ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਮੈਮੋਰੀ ਅਤੇ ਪ੍ਰੋਸੈਸਿੰਗ ਪਾਵਰ ਦੀ ਬਹੁਤ ਜ਼ਿਆਦਾ ਮਾਤਰਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਜੋ ਸਟੈਂਡਰਡ ਸਮਾਰਟਫੋਨ ਦੀ ਸਮਰੱਥਾ ਤੋਂ ਬਾਹਰ ਹੁੰਦੀ ਹੈ। PrismML ਦੀ ਤਕਨਾਲੋਜੀ ਨੂੰ ਜੋੜ ਕੇ, Apple ਪ੍ਰੋਸੈਸਿੰਗ ਨੂੰ ਕਲਾਉਡ ਤੋਂ ਹਟਾ ਕੇ ਸਿੱਧਾ ਡਿਵਾਈਸ 'ਤੇ ਲਿਆਉਣਾ ਚਾਹੁੰਦਾ ਹੈ।

ਇਹ ਤਬਦੀਲੀ Apple ਦੀ ਰਣਨੀਤਕ ਸਥਿਤੀ ਲਈ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੈ। On-device AI ਲੇਟੈਂਸੀ (latency) ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ, ਮਹਿੰਗੇ ਕਲਾਉਡ ਕੰਪਿਊਟਿੰਗ ਦੇ ਖਰਚਿਆਂ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ, ਅਤੇ ਸੰਵੇਦਨਸ਼ੀਲ ਯੂਜ਼ਰ ਡੇਟਾ ਨੂੰ ਹੈਂਡਸੈੱਟ 'ਤੇ ਹੀ ਰੱਖ ਕੇ Apple ਦੇ ਪ੍ਰਾਈਵੇਸੀ ਦੇ ਵਾਅਦੇ ਨੂੰ ਮਜ਼ਬੂਤ ਕਰਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਹ ਮੁੱਖ AI ਫੀਚਰਾਂ ਨੂੰ ਇੰਟਰਨੈੱਟ ਕਨੈਕਸ਼ਨ ਤੋਂ ਬਿਨਾਂ ਵੀ ਕੰਮ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।

PrismML ਵਿਸ਼ਾਲ AI ਮਾਡਲਾਂ ਨੂੰ ਕਿਵੇਂ ਛੋਟਾ ਕਰਦਾ ਹੈ

PrismML, ਜਿਸਦੀ ਸ਼ੁਰੂਆਤ California Institute of Technology ਦੀ ਖੋਜ ਤੋਂ ਹੋਈ ਸੀ, ਮਾਡਲ ਦੇ ਅੰਦਰੂਨੀ ਮੁੱਲਾਂ (internal values) ਨੂੰ ਸਟੋਰ ਕਰਨ ਦੇ ਤਰੀਕੇ ਨੂੰ ਸਰਲ ਬਣਾਉਣ ਲਈ ਇੱਕ ਉੱਨਤ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਜਿੱਥੇ ਰਵਾਇਤੀ ਤਰੀਕੇ ਅੰਕਾਂ ਨੂੰ 16 ਬਿੱਟ ਤੋਂ 4 ਬਿੱਟ ਤੱਕ ਘਟਾ ਸਕਦੇ ਹਨ, PrismML ਇਸ ਤੋਂ ਇੱਕ ਕਦਮ ਅੱਗੇ ਵਧ ਕੇ ਹਰ ਅੰਕ ਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਜਾਂ ਤਿੰਨ ਸੰਭਵ ਮੁੱਲਾਂ ਤੱਕ ਘਟਾ ਦਿੰਦਾ ਹੈ।

ਕੁਸ਼ਲਤਾ ਵਿੱਚ ਹੋਣ ਵਾਲਾ ਵਾਧਾ ਬਹੁਤ ਜ਼ਿਆਦਾ ਹੈ। PrismML ਨੇ ਹਾਲ ਹੀ ਵਿੱਚ Alibaba ਦੇ open-source Qwen ਮਾਡਲ ਨੂੰ 54 GB ਤੋਂ ਘਟਾ ਕੇ 4 GB ਤੋਂ ਵੀ ਘੱਟ ਕਰਕੇ ਇਸਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ ਹੈ। ਇਹ ਕੰਪਰੈਸ਼ਨ ਮਾਡਲ ਦੇ ਸਾਰੇ 27 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ iPhone 15 ਜਾਂ ਨਵੇਂ ਮਾਡਲ 'ਤੇ ਚਲਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। CEO Babak Hassibi ਦੇ ਅਨੁਸਾਰ, ਇਹ ਕੰਪਰੈੱਸਡ ਮਾਡਲ ਕਈ ਪ੍ਰਦਰਸ਼ਨ ਲਾਭ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ:

  • Memory Efficiency: 15 ਗੁਣਾ ਤੱਕ ਘੱਟ ਮੈਮੋਰੀ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
  • Speed: ਛੇ ਤੋਂ ਅੱਠ ਗੁਣਾ ਤੇਜ਼ੀ ਨਾਲ ਚੱਲਦਾ ਹੈ।
  • Power Consumption: ਛੇ ਗੁਣਾ ਤੱਕ ਘੱਟ ਊਰਜਾ ਦੀ ਖਪਤ ਕਰਦਾ ਹੈ।

ਹਾਲਾਂਕਿ Hassibi ਨੇ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਮਾਮੂਲੀ ਗਿਰਾਵਟ — ਖਾਸ ਕਰਕੇ ਤੱਥਾਂ ਦੀ ਯਾਦਦਾਸ਼ਤ (factual recall) ਦੇ ਸਬੰਧ ਵਿੱਚ — ਨੋਟ ਕੀਤੀ, ਪਰ ਮਾਡਲ ਤਰਕ (reasoning) ਅਤੇ ਕੋਡਿੰਗ ਯੋਗਤਾਵਾਂ ਵਿੱਚ ਉੱਚ ਮੁਹਾਰਤ ਬਣਾਈ ਰੱਖਦੇ ਹਨ।

ਸੈਮੀਕੰਡਕਟਰ ਅਤੇ ਹਾਰਡਵੇਅਰ ਮਾਰਕੀਟਾਂ ਲਈ ਪ੍ਰਭਾਵ

Apple ਵਰਗੀ ਦਿੱਗਜ ਕੰਪਨੀ ਦੁਆਰਾ ਅਜਿਹੀ ਕੰਪਰੈਸ਼ਨ ਤਕਨਾਲੋਜੀ ਨੂੰ ਅਪਣਾਉਣ ਨਾਲ ਹਾਰਡਵੇਅਰ ਨਿਰਮਾਤਾਵਾਂ ਲਈ ਦ੍ਰਿਸ਼ ਬਦਲ ਸਕਦਾ ਹੈ। ਵਰਤਮਾਨ ਵਿੱਚ, Morgan Stanley ਵਰਗੇ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਦਾ ਅਨੁਮਾਨ ਹੈ ਕਿ AI ਨੂੰ ਸਪੋਰਟ ਕਰਨ ਲਈ Apple ਦੇ ਮੈਮੋਰੀ ਖਰਚੇ ਵਿੱਤੀ ਸਾਲ 2027 ਤੱਕ ਤੇਜ਼ੀ ਨਾਲ ਵਧ ਸਕਦੇ ਹਨ, ਜਿਸ ਨਾਲ iPhone ਦੀਆਂ ਕੀਮਤਾਂ ਵਧ ਸਕਦੀਆਂ ਹਨ।

ਹਾਲਾਂਕਿ, ਜੇਕਰ PrismML ਦੀ ਤਕਨਾਲੋਜੀ ਇੱਕ ਸਟੈਂਡਰਡ ਬਣ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਸਮਾਰਟਫੋਨਾਂ ਵਿੱਚ ਵਿਸ਼ਾਲ ਮੈਮੋਰੀ ਮੋਡਿਊਲ ਦੀ ਮੰਗ ਘਟ ਸਕਦੀ ਹੈ, ਭਾਵੇਂ ਕਿ ਉੱਚ-ਗਤੀ, ਕੁਸ਼ਲ ਲੋਕਲ ਪ੍ਰੋਸੈਸਿੰਗ ਦੀ ਲੋੜ ਵਧਦੀ ਜਾਵੇ। ਜਿਵੇਂ ਕਿ PrismML Google ਦੇ Gemma ਵਰਗੇ ਹੋਰ ਪ੍ਰਮੁੱਖ ਮਾਡਲਾਂ ਨੂੰ ਕੰਪਰੈੱਸ ਕਰਨ ਵੱਲ ਵਧ ਰਿਹਾ ਹੈ, ਇਸਦਾ ਉਦੇਸ਼ ਸਪੱਸ਼ਟ ਹੈ: ਉੱਚ-ਪੱਧਰੀ ਬੁੱਧੀ (intelligence) ਨੂੰ ਉਪਭੋਗਤਾ ਹਾਰਡਵੇਅਰ 'ਤੇ ਲੋਕਲ, ਤੇਜ਼ ਅਤੇ ਸੁਲਭ ਬਣਾਉਣਾ।

ਮੁੱਖ ਗੱਲਾਂ

  • Massive Compression: PrismML 54 GB ਦੇ AI ਮਾਡਲ ਨੂੰ 4 GB ਤੋਂ ਵੀ ਘੱਟ ਤੱਕ ਸੁੰਗੜ ਸਕਦਾ ਹੈ, ਜੋ ਇਸਨੂੰ iPhone 15 ਵਰਗੇ ਉੱਚ-ਐਂਡ ਸਮਾਰਟਫੋਨਾਂ ਲਈ ਵਿਹਾਰਕ ਬਣਾਉਂਦਾ ਹੈ।
  • Efficiency Gains: ਇਹ ਤਕਨਾਲੋਜੀ 15 ਗੁਣਾ ਤੱਕ ਘੱਟ ਮੈਮੋਰੀ ਵਰਤੋਂ ਅਤੇ 6 ਗੁਣਾ ਘੱਟ ਊਰਜਾ ਖਪਤ ਦਾ ਵਾਅਦਾ ਕਰਦੀ ਹੈ, ਜੋ AI ਕੰਮਾਂ ਦੌਰਾਨ ਬੈਟਰੀ ਲਾਈਫ ਬਣਾਈ ਰੱਖਣ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ।
  • Privacy and Speed: AI ਨੂੰ ਕਲਾਉਡ ਤੋਂ ਡਿਵਾਈਸ 'ਤੇ ਲਿਆਉਣ ਨਾਲ ਲੇਟੈਂਸੀ ਘਟੇਗੀ ਅਤੇ ਯੂਜ਼ਰ ਪ੍ਰਾਈਵੇਸੀ ਵਧੇਗੀ, ਜੋ Apple ਦੇ ਉਤਪਾਦ ਫਲਸਫੇ ਦਾ ਇੱਕ ਅਧਾਰ ਹੈ।

ਜੋਖਮ ਅਤੇ ਅਣਸੁਲਝੇ ਸਵਾਲ

PrismML ਦੇ ਨਤੀਜੇ ਉਮੀਦ ਜਗਾਉਣ ਵਾਲੇ ਹਨ ਪਰ ਅਜੇ ਸ਼ੁਰੂਆਤੀ ਪੜਾਅ 'ਤੇ ਹਨ।

ਅੱਗੇ ਕੀ ਦੇਖਣਾ ਹੈ

  • Official confirmation: Apple ਨੇ ਕਿਸੇ ਭਾਈਵਾਲੀ ਦੀ ਘੋਸ਼ਣਾ ਨਹੀਂ ਕੀਤੀ ਹੈ, ਇਸ ਲਈ on-device LLMs ਬਾਰੇ ਕੋਈ ਵੀ ਪ੍ਰੈਸ ਰਿਲੀਜ਼ ਜਾਂ iOS 18 ਬੀਟਾ ਨੋਟ ਇੱਕ ਮੁੱਖ ਸੰਕੇਤ ਹੋਵੇਗਾ।

Bottom line: PrismML ਦੀ ਕੰਪਰੈਸ਼ਨ iPhones ਨੂੰ ਮੈਮੋਰੀ ਵਧਾਏ ਜਾਂ ਬੈਟਰੀ ਖਤਮ ਕੀਤੇ ਬਿਨਾਂ ਅਸਲ ਵਿੱਚ ਵੱਡੇ ਲੈਂਗੂਏਜ ਮਾਡਲਾਂ ਨੂੰ ਹੋਸਟ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦੇ ਸਕਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਤੇਜ਼ ਅਤੇ ਨਿੱਜੀ AI ਅਨੁਭਵ ਮਿਲ ਸਕਦੇ ਹਨ।