RAM ಈಗ ಹೊಸ GPU
ವರ್ಷಗಳಿಂದ, AI ಡೆವಲಪರ್ಗಳು ಒಂದು ವಿಷಯದ ಮೇಲೆ ಮಾತ್ರ ಗಮನ ಹರಿಸುತ್ತಿದ್ದರು: ಕಂಪ್ಯೂಟ್ ವೇಗ (compute speed). ನೀವು CUDA ಕೋರ್ಗಳು ಮತ್ತು ಕ್ಲಾಕ್ ಸ್ಪೀಡ್ಗಳನ್ನು ಗಮನಿಸುತ್ತಿದ್ದಿರಿ.
ಆ ಯುಗ ಮುಗಿದಿದೆ.
ಹೊಸ ಅಡಚಣೆ (bottleneck) ಎಂದರೆ ಮೆಮೊರಿ ಸಾಮರ್ಥ್ಯ (memory capacity).
70-ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ಮಾಡೆಲ್ ಅನ್ನು ಸರಿಯಾಗಿ ನಡೆಸಲು ಸರಿಸುಮಾರು 48 ರಿಂದ 50 GB ಮೆಮೊರಿ ಬೇಕಾಗುತ್ತದೆ. Nvidia RTX 5090 ನಲ್ಲಿ ಕೇವಲ 32 GB ಮಾತ್ರ ಇದೆ.
ಲೆಕ್ಕಾಚಾರ ಸರಳವಾಗಿದೆ. ನಿಮ್ಮ ಮಾಡೆಲ್ ತೂಕವು (weights) VRAM ನಲ್ಲಿ ಹೊಂದಿಕೆಯಾಗದಿದ್ದರೆ, ನಿಮಗೆ ಸೆಕೆಂಡಿಗೆ ಸೊನ್ನೆ ಟೋಕನ್ಗಳು ಸಿಗುತ್ತವೆ. ಮಾಡೆಲ್ ಲೋಡ್ ಆಗದಿದ್ದರೆ ವೇಗವು ಮುಖ್ಯವಾಗುವುದಿಲ್ಲ.
ಹಾರ್ಡ್ವೇರ್ ಹೋಲಿಕೆ ಇಲ್ಲಿದೆ:
• RTX 5090: ಪ್ರತಿ GB ಗೆ $62.47 ರಂತೆ 32 GB VRAM. • Mac Studio M3 Ultra: ಪ್ರತಿ GB ಗೆ $18.55 ರಂತೆ 512 GB ಮೆಮೊರಿ.
Mac Studio 16 ಪಟ್ಟು ಹೆಚ್ಚು ಸಾಮರ್ಥ್ಯವನ್ನು ನೀಡುತ್ತದೆ ಮತ್ತು ಪ್ರತಿ ಗಿಗಾಬೈಟ್ಗೆ 3.4 ಪಟ್ಟು ಕಡಿಮೆ ವೆಚ್ಚವಾಗುತ್ತದೆ.
ವ್ಯತ್ಯಾಸವು ಆರ್ಕಿಟೆಕ್ಚರ್ನಲ್ಲಿದೆ (architecture). Nvidia ಡಿಸ್ಕ್ರೀಟ್ (discrete) VRAM ಅನ್ನು ಬಳಸುತ್ತದೆ. ಡೇಟಾವು CPU ಮತ್ತು GPU ನಡುವೆ ಬ್ರಿಡ್ಜ್ ಮೂಲಕ ಚಲಿಸಬೇಕು. ಮಾಡೆಲ್ಗಳು ದೊಡ್ಡದಾದಾಗ ಇದು ಎಲ್ಲವನ್ನೂ ನಿಧಾನಗೊಳಿಸುತ್ತದೆ.
Apple ಯೂನಿಫೈಡ್ ಮೆಮೊರಿ (unified memory) ಅನ್ನು ಬಳಸುತ್ತದೆ. CPU ಮತ್ತು GPU ಒಂದೇ ಭೌತಿಕ ಸ್ಥಳವನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತವೆ. ಡೇಟಾವನ್ನು ಇಲ್ಲಿಂದ ಅಲ್ಲಿಗೆ ಕಳುಹಿಸುವ ಅಗತ್ಯವಿಲ್ಲ. ಡೇಟಾ ಈಗಾಗಲೇ ಅಲ್ಲಿಯೇ ಇರುತ್ತದೆ.
ಇದು ನಿಮ್ಮ ವರ್ಕ್ಫ್ಲೋ ಅನ್ನು ಬದಲಾಯಿಸುತ್ತದೆ:
- ಯಾವುದೇ ಡಿವೈಸ್ ಮ್ಯಾಪಿಂಗ್ ಇಲ್ಲ.
- ಯಾವುದೇ ಸಂಕೀರ್ಣ ಡಿಸ್ಟ್ರಿಬ್ಯೂಷನ್ ಫ್ಲಾಗ್ಗಳು ಇಲ್ಲ.
- ಯಾವುದೇ ಮಲ್ಟಿ-GPU ತಲೆನೋವುಗಳಿಲ್ಲ.
ನೀವು 70B ಮಾಡೆಲ್ ಅನ್ನು ನಡೆಸಲು ಬಯಸಿದರೆ, RTX 5090 ವಿಫಲವಾಗುತ್ತದೆ. Mac Studio ಕೆಲಸ ಮಾಡುತ್ತದೆ.
ನೀವು DeepSeek V3 ಅನ್ನು ನಡೆಸಲು ಬಯಸಿದರೆ, RTX 5090 ಸೋಲುತ್ತದೆ. Mac Studio ಅದನ್ನು ಹೆಚ್ಚಿನ ಸ್ಥಳಾವಕಾಶದೊಂದಿಗೆ ಲೋಡ್ ಮಾಡುತ್ತದೆ.
ಆಯ್ಕೆಯು ಈಗ ಸ್ಪಷ್ಟವಾಗಿದೆ:
- ನಿಮ್ಮ ಮಾಡೆಲ್ 32 GB ಗಿಂತ ಕಡಿಮೆ ಇದ್ದರೆ: Nvidia ಬಳಸಿ. ಇದು ಸಣ್ಣ ಮಾಡೆಲ್ಗಳಿಗೆ ವೇಗವಾಗಿರುತ್ತದೆ.
- ನಿಮ್ಮ ಮಾಡೆಲ್ 32 GB ಗಿಂತ ಹೆಚ್ಚಿದ್ದರೆ: Mac Studio ಬಳಸಿ. ಹೆಚ್ಚಿನ ವೆಚ್ಚ ಅಥವಾ ಗುಣಮಟ್ಟದ ನಷ್ಟವಿಲ್ಲದೆ Nvidia ಈ ಮಾಡೆಲ್ಗಳನ್ನು ನಡೆಸಲು ಸಾಧ್ಯವಿಲ್ಲ.
ದೊಡ್ಡ ಮಾಡೆಲ್ಗಳಿಗಾಗಿ ಹೈ-ಎಂಡ್ Nvidia ರಿಗ್ (rig) ಅನ್ನು ನಿರ್ಮಿಸುವುದು ಹೆಚ್ಚಾಗಿ ದುಬಾರಿ ವಾರಾಂತ್ಯದ ಯೋಜನೆಯಾಗುತ್ತದೆ. ಕೇವಲ ಕೆಲಸ ನಡೆಸಲು ನೀವು ಹಲವಾರು GPUಗಳು ಮತ್ತು ಕಸ್ಟಮ್ ಕೂಲಿಂಗ್ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಖರೀದಿಸಬೇಕಾಗುತ್ತದೆ.
Mac Studio ನಿಮ್ಮ ಮೇಜಿನ ಮೇಲಿರುತ್ತದೆ. ಇದು ಕಡಿಮೆ ವಿದ್ಯುತ್ ಬಳಸುತ್ತದೆ ಮತ್ತು ತಕ್ಷಣವೇ ಕೆಲಸ ಮಾಡುತ್ತದೆ.
ಯಾವ GPU ಅತ್ಯಂತ ವೇಗವಾಗಿದೆ ಎಂದು ಕೇಳುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ನಿಮಗೆ ಬೇಕಾದ ಮಾಡೆಲ್ಗಳನ್ನು ಯಾವ ಪ್ಲಾಟ್ಫಾರ್ಮ್ ವಾಸ್ತವವಾಗಿ ನಡೆಸುತ್ತದೆ ಎಂದು ಕೇಳಲು ಪ್ರಾರಂಭಿಸಿ.
ನಿಮ್ಮ ಸೆಟಪ್ ಎಲ್ಲಿದೆ? ನೀವು Nvidia ಬಳಸುತ್ತಿದ್ದೀರಾ ಅಥವಾ ಯೂನಿಫೈಡ್ ಮೆಮೊರಿಗೆ ಬದಲಾಗಿದ್ದೀರಾ?
Source: https://dev.to/tyson_cung/ram-is-the-new-gpu-why-mac-studio-wins-for-local-llm-inference-3e3b
Optional learning community: https://t.me/GyaanSetuAi