AI ਟ੍ਰੇਨਿੰਗ ਲਈ GPU, CPU ਨੂੰ ਕਿਉਂ ਪਛਾੜਦੇ ਹਨ
ਤੁਸੀਂ AI ਲਈ ਸਿਰਫ਼ ਇੱਕ ਵੱਡਾ CPU ਕਿਉਂ ਨਹੀਂ ਬਣਾ ਸਕਦੇ?
ਇਹ ਇੱਕ ਆਮ ਸਵਾਲ ਹੈ। ਜ਼ਿਆਦਾਤਰ ਲੋਕ ਸੋਚਦੇ ਹਨ ਕਿ GPU ਇਸ ਲਈ ਜਿੱਤਦੇ ਹਨ ਕਿਉਂਕਿ ਉਹ ਤੇਜ਼ ਹੁੰਦੇ ਹਨ। ਅਸਲ ਕਾਰਨ ਡਿਜ਼ਾਈਨ ਨਾਲ ਸਬੰਧਤ ਹੈ। CPU ਅਤੇ GPU ਵੱਖ-ਵੱਖ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਦੇ ਹਨ।
AI ਟ੍ਰੇਨਿੰਗ ਜ਼ਿਆਦਾਤਰ ਮੈਟ੍ਰਿਕਸ ਮਲਟੀਪਲੀਕੇਸ਼ਨ (matrix multiplication) ਹੈ। ਤੁਸੀਂ ਅਰਬਾਂ ਗਣਿਤਕ ਕਾਰਜ ਕਰਦੇ ਹੋ ਜੋ ਇੱਕ ਦੂਜੇ 'ਤੇ ਨਿਰਭਰ ਨਹੀਂ ਕਰਦੇ। ਇਸਨੂੰ ਪੈਰਲਲ ਵਰਕ (parallel work) ਕਿਹਾ ਜਾਂਦਾ ਹੈ।
ਇੱਕ CPU ਗੁੰਝਲਦਾਰ, ਅਨੁਮਾਨ ਨਾ ਲਗਾਉਣ ਯੋਗ ਕੰਮਾਂ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ। ਇਹ ਸਿਲੀਕਾਨ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ:
- ਬ੍ਰਾਂਚ ਪ੍ਰੈਡਿਕਸ਼ਨ (Branch prediction)
- ਆਊਟ-ਆਫ-ਆਰਡਰ ਐਗਜ਼ੀਕਿਊਸ਼ਨ (Out-of-order execution)
- ਵੱਡੇ ਕੈਸ਼ੇਸ (Large caches)
ਇਹ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਇੱਕ CPU ਨੂੰ ਵੈੱਬ ਰਿਕਵੈਸਟ ਜਾਂ ਡਾਟਾਬੇਸ ਕੁਐਰੀ ਨੂੰ ਸੰਭਾਲਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀਆਂ ਹਨ। ਪਰ AI ਲਈ, ਇਹ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਬੇਕਾਰ ਹਨ। ਦੋ ਨੰਬਰਾਂ ਨੂੰ ਇੱਕ ਅਰਬ ਵਾਰ ਗੁਣਾ ਕਰਨ ਲਈ ਤੁਹਾਨੂੰ ਇੱਕ ਸਮਾਰਟ ਕੋਰ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ।
ਇੱਕ GPU ਵੱਖਰਾ ਰਸਤਾ ਅਪਣਾਉਂਦਾ ਹੈ। ਇਹ ਗੁੰਝਲਦਾਰ ਮਸ਼ੀਨਰੀ ਨੂੰ ਹਟਾ ਦਿੰਦਾ ਹੈ। ਕੁਝ ਸਮਾਰਟ ਕੋਰਾਂ ਦੀ ਬਜਾਏ, ਇਹ ਹਜ਼ਾਰਾਂ ਸਾਧਾਰਨ ਕੋਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
ਹਾਰਡਵੇਅਰ ਦਾ ਅੰਤਰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਹੈ:
- Intel Xeon 6+ ਵਿੱਚ ਪ੍ਰਤੀ ਸਾਕਟ 288 ਤੱਕ ਕੋਰ ਹੁੰਦੇ ਹਨ।
- NVIDIA Blackwell B300 ਵਿੱਚ 20,480 CUDA ਕੋਰ ਹਨ।
ਪਾਵਰ ਕੁਸ਼ਲਤਾ ਵੀ ਵੱਖਰੀ ਹੈ। ਇੱਕ Xeon ਕੋਰ ਲਗਭਗ 1.5W ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਇੱਕ B300 ਕੋਰ ਲਗਭਗ 0.07W ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਤੁਸੀਂ CPU ਦੀ ਉਸ ਸਮਾਰਟਨੈੱਸ ਲਈ ਉੱਚ ਪਾਵਰ ਟੈਕਸ ਦਿੰਦੇ ਹੋ ਜਿਸਦੀ AI ਟ੍ਰੇਨਿੰਗ ਵਿੱਚ ਕਦੇ ਵਰਤੋਂ ਨਹੀਂ ਹੁੰਦੀ।
ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਵੀ ਮਾਇਨੇ ਰੱਖਦੀ ਹੈ।
- Xeon 6+ ਲਗਭਗ 770 GB/s ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
- B300 HBM3e ਮੈਮੋਰੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ 8 TB/s ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਜੇਕਰ ਹਜ਼ਾਰਾਂ ਕੋਰ ਡੇਟਾ ਦੀ ਉਡੀਕ ਵਿੱਚ ਵਿਹਲੇ ਬੈਠੇ ਰਹਿਣ, ਤਾਂ ਉਹ ਬੇਕਾਰ ਹਨ। GPU ਬਹੁਤ ਸਾਰੇ ਕੋਰਾਂ ਨੂੰ ਵਿਸ਼ਾਲ ਮੈਮੋਰੀ ਸਪੀਡਾਂ ਨਾਲ ਜੋੜਦੇ ਹਨ ਤਾਂ ਜੋ ਉਹ ਮਿਲ ਕੇ ਕੰਮ ਕਰ ਸਕਣ।
ਜੇਕਰ ਤੁਸੀਂ ਇੱਕ ਚਿੱਪ 'ਤੇ 20,000 CPU ਕੋਰ ਲਗਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਤੁਰੰਤ ਪਾਵਰ ਅਤੇ ਗਰਮੀ ਦੀ ਸਮੱਸਿਆ ਨਾਲ ਟਕਰਾ ਜਾਵੋਗੇ। ਤੁਸੀਂ ਉਹਨਾਂ "ਸਮਾਰਟ" ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਲਈ ਵੀ ਭੁਗਤਾਨ ਕਰ ਰਹੇ ਹੋਵੋਗੇ ਜਿਨ੍ਹਾਂ ਦੀ ਤੁਹਾਨੂੰ ਲੋੜ ਨਹੀਂ ਹੈ।
ਇਸਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਸਮਝੋ:
- ਇੱਕ CPU ਕੋਰ ਇੱਕ ਫਾਰਮੂਲਾ 1 ਕਾਰ ਹੈ। ਇਹ ਤੇਜ਼ ਹੈ ਅਤੇ ਮੋੜਾਂ ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸੰਭਾਲਦੀ ਹੈ, ਪਰ ਇਹ ਮਹਿੰਗੀ ਹੈ।
- ਇੱਕ GPU ਕੋਰ ਇੱਕ ਫੋਰਕਲਿਫਟ (forklift) ਹੈ। ਇਹ ਤੇਜ਼ ਜਾਂ ਸ਼ਾਨਦਾਰ ਨਹੀਂ ਹੈ, ਪਰ ਫੋਰਕਲਿਫਟਾਂ ਦਾ ਇੱਕ ਸਮੂਹ ਇੱਕ ਰੇਸ ਕਾਰ ਨਾਲੋਂ ਕਿਤੇ ਜ਼ਿਆਦਾ ਮਾਲ ਲਿਜਾ ਸਕਦਾ ਹੈ।
ਆਧੁਨਿਕ AI ਦੋਵਾਂ ਨਾਲ ਸਭ ਤੋਂ ਵਧੀਆ ਕੰਮ ਕਰਦਾ ਹੈ। CPU ਕੰਮਾਂ ਨੂੰ ਪ੍ਰਬੰਧਿਤ ਕਰਨ ਲਈ ਦਿਮਾਗ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ। GPU ਭਾਰੀ ਗਣਿਤ ਕਰਨ ਲਈ ਮਾਸਪੇਸ਼ੀ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ।
ਵਿਕਲਪਿਕ ਸਿੱਖਣ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi