AI ತರಬೇತಿಗಾಗಿ GPUಗಳು CPUಗಳಿಗಿಂತ ಏಕೆ ಉತ್ತಮ
AI ಗಾಗಿ ನೀವು ಕೇವಲ ದೊಡ್ಡದಾದ CPU ಅನ್ನು ಏಕೆ ನಿರ್ಮಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ?
ಇದು ಸಾಮಾನ್ಯ ಪ್ರಶ್ನೆ. ಹೆಚ್ಚಿನ ಜನರು GPUಗಳು ವೇಗವಾಗಿರುವುದರಿಂದ ಅವು ಗೆಲ್ಲುತ್ತವೆ ಎಂದು ಭಾವಿಸುತ್ತಾರೆ. ಆದರೆ ನಿಜವಾದ ಕಾರಣ ಅದರ ವಿನ್ಯಾಸದಲ್ಲಿದೆ. CPU ಮತ್ತು GPUಗಳು ವಿಭಿನ್ನ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸುತ್ತವೆ.
AI ತರಬೇತಿಯು ಹೆಚ್ಚಾಗಿ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರದ (matrix multiplication) ಪ್ರಕ್ರಿಯೆಯಾಗಿದೆ. ನೀವು ಒಂದಕ್ಕೊಂದು ಅವಲಂಬಿತವಾಗಿಲ್ಲದ ಶತಕೋಟಿ ಗಣಿತದ ಕ್ರಿಯೆಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತೀರಿ. ಇದನ್ನು ಸಮಾಂತರ ಕೆಲಸ (parallel work) ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ.
CPU ಅನ್ನು ಸಂಕೀರ್ಣವಾದ, ಅನಿಶ್ಚಿತ ಕಾರ್ಯಗಳಿಗಾಗಿ ನಿರ್ಮಿಸಲಾಗಿದೆ. ಇದು ಸಿಲಿಕಾನ್ ಅನ್ನು ಈ ಕೆಳಗಿನವುಗಳಿಗಾಗಿ ಬಳಸುತ್ತದೆ:
- ಬ್ರಾಂಚ್ ಪ್ರೆಡಿಕ್ಷನ್ (Branch prediction)
- ಔಟ್-ಆಫ್-ಆರ್ಡರ್ ಎಕ್ಸಿಕ್ಯೂಷನ್ (Out-of-order execution)
- ದೊಡ್ಡ ಕ್ಯಾಶೆಗಳು (Large caches)
ಈ ವೈಶಿಷ್ಟ್ಯಗಳು CPU ಅನ್ನು ವೆಬ್ ವಿನಂತಿ (web request) ಅಥವಾ ಡೇಟಾಬೇಸ್ ಕ್ವೇರಿಯನ್ನು ನಿರ್ವಹಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತವೆ. ಆದರೆ AI ಗಾಗಿ, ಈ ವೈಶಿಷ್ಟ್ಯಗಳು ವ್ಯರ್ಥವಾಗುತ್ತವೆ. ಎರಡು ಸಂಖ್ಯೆಗಳನ್ನು ಶತಕೋಟಿ ಬಾರಿ ಗುಣಿಸಲು ನಿಮಗೆ ಸ್ಮಾರ್ಟ್ ಕೋರ್ (smart core) ಅಗತ್ಯವಿಲ್ಲ.
GPU ವಿಭಿನ್ನ ಹಾದಿಯನ್ನು ಅನುಸರಿಸುತ್ತದೆ. ಇದು ಸಂಕೀರ್ಣವಾದ ಯಂತ್ರೋಪಕರಣಗಳನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆ. ಕೆಲವು ಸ್ಮಾರ್ಟ್ ಕೋರ್ಗಳ ಬದಲಿಗೆ, ಇದು ಸಾವಿರಾರು ಸರಳ ಕೋರ್ಗಳನ್ನು ಬಳಸುತ್ತದೆ.
ಹಾರ್ಡ್ವೇರ್ ನಡುವಿನ ವ್ಯತ್ಯಾಸವು ಬೃಹತ್ತಾಗಿದೆ:
- Intel Xeon 6+ ಪ್ರತಿ ಸಾಕೆಟ್ನಲ್ಲಿ 288 ಕೋರ್ಗಳವರೆಗೆ ಹೊಂದಿದೆ.
- NVIDIA Blackwell B300 ನಲ್ಲಿ 20,480 CUDA ಕೋರ್ಗಳಿವೆ.
ವಿದ್ಯುತ್ ದಕ್ಷತೆಯೂ ಸಹ ವಿಭಿನ್ನವಾಗಿದೆ. ಒಂದು Xeon ಕೋರ್ ಸುಮಾರು 1.5W ಬಳಸುತ್ತದೆ. ಒಂದು B300 ಕೋರ್ ಸುಮಾರು 0.07W ಬಳಸುತ್ತದೆ. AI ತರಬೇತಿಯು ಎಂದಿಗೂ ಬಳಸದ CPU ಬುದ್ಧಿವಂತಿಕೆಗಾಗಿ ನೀವು ಹೆಚ್ಚಿನ ವಿದ್ಯುತ್ ವೆಚ್ಚವನ್ನು ಪಾವತಿಸುತ್ತೀರಿ.
ಮೆಮೊರಿ ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಕೂಡ ಮುಖ್ಯವಾಗುತ್ತದೆ.
- Xeon 6+ ಸುಮಾರು 770 GB/s ನೀಡುತ್ತದೆ.
- B300 HBM3e ಮೆಮೊರಿಯನ್ನು ಬಳಸಿಕೊಂಡು 8 TB/s ನೀಡುತ್ತದೆ.
ಡೇಟಾಕ್ಕಾಗಿ ಕಾಯುತ್ತಾ ಕೋರ್ಗಳು ಸುಮ್ಮನೆ ಕುಳಿತಿದ್ದರೆ ಸಾವಿರಾರು ಕೋರ್ಗಳು ಪ್ರಯೋಜನವಿಲ್ಲದಂತಾಗುತ್ತವೆ. GPUಗಳು ಅನೇಕ ಕೋರ್ಗಳನ್ನು ಬೃಹತ್ ಮೆಮೊರಿ ವೇಗಗಳೊಂದಿಗೆ ಜೋಡಿಸುತ್ತವೆ, ಇದರಿಂದ ಅವು ಒಟ್ಟಾಗಿ ಕೆಲಸ ಮಾಡಬಲ್ಲವು.
ನೀವು ಒಂದು ಚಿಪ್ನಲ್ಲಿ 20,000 CPU ಕೋರ್ಗಳನ್ನು ಇರಿಸಲು ಪ್ರಯತ್ನಿಸಿದರೆ, ನೀವು ತಕ್ಷಣವೇ ವಿದ್ಯುತ್ ಮತ್ತು ಶಾಖದ ಸಮಸ್ಯೆಯನ್ನು ಎದುರಿಸುತ್ತೀರಿ. ಅಲ್ಲದೆ, ನಿಮಗೆ ಅಗತ್ಯವಿಲ್ಲದ "ಸ್ಮಾರ್ಟ್" ವೈಶಿಷ್ಟ್ಯಗಳಿಗಾಗಿ ನೀವು ಹಣ ಪಾವತಿಸುತ್ತಿರುತ್ತೀರಿ.
ಇದನ್ನು ಈ ರೀತಿ ಯೋಚಿಸಿ:
- ಒಂದು CPU ಕೋರ್ ಎಂಬುದು ಫಾರ್ಮುಲಾ 1 ಕಾರಿನಂತೆ. ಇದು ವೇಗವಾಗಿರುತ್ತದೆ ಮತ್ತು ತಿರುವುಗಳನ್ನು ಚೆನ್ನಾಗಿ ನಿಭಾಯಿಸುತ್ತದೆ, ಆದರೆ ಇದು ದುಬಾರಿಯಾಗಿದೆ.
- ಒಂದು GPU ಕೋರ್ ಎಂಬುದು ಫೋರ್ಕ್ಲಿಫ್ಟ್ (forklift) ಇದ್ದಂತೆ. ಇದು ವೇಗವಾಗಿರಲಿ ಅಥವಾ ವೈಭವಯುತವಾಗಿರಲಿ, ಆದರೆ ಒಂದು ರೇಸ್ ಕಾರಿಗಿಂತ ಫೋರ್ಕ್ಲಿಫ್ಟ್ಗಳ ಸಮೂಹವು ಹೆಚ್ಚಿನ ಸರಕನ್ನು ಸಾಗಿಸುತ್ತದೆ.
ಆಧುನಿಕ AI ಎರಡರೊಂದಿಗೆ ಉತ್ತಮವಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ. CPU ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಮೆದುಳಿನಂತೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. GPU ಕಠಿಣ ಗಣಿತದ ಕೆಲಸಗಳನ್ನು ಮಾಡಲು ಸ್ನಾಯುಗಳಂತೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.
ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi