OpenAI ತನ್ನದೇ ಆದ ಇನ್ಫರೆನ್ಸ್ ಚಿಪ್ Jalapeño ಅನ್ನು ಅನಾವರಣಗೊಳಿಸಿದೆ ಮತ್ತು ಇದು Nvidia ನ GB200 ಮತ್ತು GB300 ಅಕ್ಸೆಲರೇಟರ್ಗಳಿಗಿಂತ ಪ್ರತಿ ಕಿಲೋवाटಕ್ಕೆ 1.9 × ಹೆಚ್ಚು ಥ್ರೂಪುಟ್ ನೀಡುತ್ತದೆ ಎಂದು ಹೇಳಿದೆ. ಈ ತಂಡವು ಕೇವಲ ಒಂಬತ್ತು ತಿಂಗಳುಗಳಲ್ಲಿ ಒಂದು ಪರಿಕಲ್ಪನೆಯನ್ನು ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಸಿಲಿಕಾನ್ ಡೈ ಆಗಿ ಪರಿವರ್ತಿಸಿದೆ—ಇದು ಕಸ್ಟಮ್ AI ಪ್ರೊಸೆಸರ್ಗಳ ಸಾಮಾನ್ಯ ಎರಡು-ಮೂರು ವರ್ಷಗಳ ಚಕ್ರಕ್ಕಿಂತ ಬಹಳ ವೇಗವಾಗಿದೆ.
ಈ ವೇಗದ ಪ್ರಗತಿಯ ಮಹತ್ವವೇನು
OpenAI ಈಗ ಕೇವಲ Nvidia GPU ಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗುವ ಬದಲು Cerebras, AWS Trainium, AMD ಮತ್ತು ಇತರರ ಹಾರ್ಡ್ವೇರ್ ಮೇಲೆ ಮಾಡೆಲ್ಗಳನ್ನು ರನ್ ಮಾಡುತ್ತದೆ. AI ತರಬೇತಿಯಿಂದ (training) ಇನ್ಫರೆನ್ಸ್-ಹೆವಿ (inference-heavy) ಕೆಲಸದ ಹೊರೆಯನ್ನು நோக்கி ಬದಲಾಗುತ್ತಿರುವಂತೆ, ವಿದ್ಯುತ್ ಬಳಕೆ ಮತ್ತು ಪ್ರತಿ ಕ್ವೆರಿಯ ವೆಚ್ಚವು ನಿರ್ಣಾಯಕವಾಗುತ್ತದೆ. ಒಂದು ಟ್ರಿಲಿಯನ್-ಪ್ಯಾರಾಮೀಟರ್ ಮಾಡೆಲ್ಗೆ ಬೇಕಾಗುವ ಶಕ್ತಿಯನ್ನು ಅರ್ಧದಷ್ಟು ಕಡಿಮೆ ಮಾಡುವ ಚಿಪ್, ಪ್ರತಿದಿನ ಶತಕೋಟಿಗಟ್ಟಲೆ ವಿನಂತಿಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಸೇವೆಗಳ ಕಾರ್ಯಾಚರಣೆಯ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು.
AI ಚಿಪ್ ಅನ್ನು ಹೇಗೆ ಬರೆಯಿತು
Jalapeño ಒಂದು ASIC—ಒಂದು ನಿರ್ದಿಷ್ಟ ಉದ್ದೇಶಕ್ಕಾಗಿ ನಿರ್ಮಿಸಲಾದ ಚಿಪ್: ಲಾರ್ಜ್ ಲ್ಯಾಂಗ್ವೇಜ್ ಮಾಡೆಲ್ಗಳನ್ನು ರನ್ ಮಾಡುವುದು. ಸಾಮಾನ್ಯ ಉದ್ದೇಶದ GPU ನಂತಲ್ಲದೆ, ASIC ಅನಗತ್ಯ ಲಾಜಿಕ್ ಅನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆ ಮತ್ತು LLM ಇನ್ಫರೆನ್ಸ್ ಮಾದರಿಗಳಿಗೆ ಅನುಗುಣವಾಗಿ ಡೇಟಾ ಪಥಗಳನ್ನು ರೂಪಿಸುತ್ತದೆ.