ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮುಖ್ಯಾಂಶಗಳು

Hot Chips ಕಾನ್ಫರೆನ್ಸ್‌ನಲ್ಲಿ ಪ್ರಕಟವಾದ ಅಂಕಿಅಂಶಗಳನ್ನು ಒಂದು ಸ್ವತಂತ್ರ ಸಂಸ್ಥೆಯು InferenceX ಸೂಟ್ ಬಳಸಿ ಪರಿಶೀಲಿಸಿದೆ. OpenAI Jalapeño ಅನ್ನು ಸಾಮಾನ್ಯ ಉದ್ದೇಶದ ಇನ್ಫರೆನ್ಸ್ ಆಕ್ಸಿಲರೇಟರ್ (general-purpose inference accelerator) ಎಂದು ಕರೆಯುತ್ತದೆ—ಇದು ಮಾಡೆಲ್‌ಗಳನ್ನು ರನ್ ಮಾಡುತ್ತದೆ ಆದರೆ ಅವುಗಳನ್ನು ತರಬೇತಿ (train) ಮಾಡುವುದಿಲ್ಲ. ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಈ ಚಿಪ್:

  • ಇಂದಿನ ಮುಂಚೂಣಿಯಲ್ಲಿರುವ ಸಾಧನಗಳಿಗಿಂತ ಪೀಕ್ ಥ್ರೂಪುಟ್‌ನಲ್ಲಿ (peak throughput) ವ್ಯಾಟ್ಸ್‌ಗೆ 1.5 × ಇಂದ 1.9 × ಹೆಚ್ಚು ಕೆಲಸವನ್ನು ನೀಡಿದೆ.
  • ಲೇಟೆನ್ಸಿಯನ್ನು (latency) 1.7 × ಇಂದ 3.6 × ವರೆಗೆ ಕಡಿಮೆ ಮಾಡಿದೆ, ಮತ್ತು ಇಂಟರಾಕ್ಟಿವ್ ಲಾಭಗಳು (interactive gains) 2.1 × ಇಂದ 4.1 × ವರೆಗೆ ಇವೆ.

ಮಾಡೆಲ್-ನಿರ್ದಿಷ್ಟ ಫಲಿತಾಂಶಗಳು:

  • GPT-OSS 120B: ~1,400 ಟೋಕನ್‌ಗಳು / ಸೆಕೆಂಡ್ / ಬಳಕೆದಾರ.
  • Deepseek R1 670B: ಏಕಕಾಲಿಕ ವಿನಂತಿಯ ಮೇಲೆ (single concurrent request) ~700 ಟೋಕನ್‌ಗಳು / ಸೆಕೆಂಡ್.
  • Kimi K2.5 1T: ಹೈ-ಪರ್ಫಾರ್ಮೆನ್ಸ್ ಸೂಟ್‌ನಲ್ಲಿ ಪರೀಕ್ಷಿಸಲಾಗಿದೆ (ನಿಖರವಾದ ಅಂಕಿಅಂಶಗಳನ್ನು ಬಹಿರಂಗಪಡಿಸಿಲ್ಲ).

ಅನೇಕ ಪ್ರತಿಸ್ಪರ್ಧಿಗಳು ತಮ್ಮ ಅಂಕಿಅಂಶಗಳನ್ನು ಹೆಚ್ಚಿಸಲು ಬಳಸುವ 'speculative decoding' ಅಥವಾ 'multi-token prediction' ತಂತ್ರಗಳಿಲ್ಲದೆ ಈ ಅಂಕಿಅಂಶಗಳು ಬಂದಿವೆ ಎಂದು OpenAI ಒತ್ತಿಹೇಳಿದೆ.

Jalapeño ಅನ್ನು ಹೇಗೆ ನಿರ್ಮಿಸಲಾಯಿತು

OpenAI, Broadcom ಜೊತೆಗೂಡಿ ಒಂಬತ್ತು ತಿಂಗಳಲ್ಲಿ ಚಿಪ್‌ನ ವಿನ್ಯಾಸವನ್ನು ಪೂರ್ಣಗೊಳಿಸಿತು. ಸಂಸ್ಥೆಯು ತನ್ನದೇ ಆದ ಮಾಡೆಲ್‌ಗಳನ್ನು ವಿನ್ಯಾಸ ಪ್ರಕ್ರಿಯೆಗೆ (design loop) ಬಳಸಿಕೊಳ್ಳುವ ಮೂಲಕ ಬ್ಲೂಪ್ರಿಂಟಿಂಗ್, ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಮತ್ತು ಆಪ್ಟಿಮೈಸೇಶನ್ ಅನ್ನು ವೇಗಗೊಳಿಸಿತು—ಇದನ್ನು "AI-assisted silicon design" ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ. ಈ ವೇಗದ ಪ್ರಗತಿಯು, ಹಿಂದೆ ಹೈ-ಪರ್ಫಾರ್ಮೆನ್ಸ್ ಸಿಲಿಕಾನ್ ವಿನ್ಯಾಸಕ್ಕೆ ಬೇಕಾಗುತ್ತಿದ್ದ ದಶಕಗಳ ಕಾಲದ ಚಕ್ರಗಳಿಂದ (multi-year cycles) ಆಗುತ್ತಿರುವ ಬದಲಾವಣೆಯನ್ನು ಎತ್ತಿ ತೋರಿಸುತ್ತದೆ.

Nvidia ನ ಮುಂಚೂಣಿಗೆ ಆಗುವ ಪರಿಣಾಮಗಳು

Nvidia ಕಚ್ಚಾ ಕಾರ್ಯಕ್ಷಮತೆ (raw performance) ಮತ್ತು CUDA ಪರಿಸರ ವ್ಯವಸ್ಥೆಯನ್ನು (ecosystem) ಅವಲಂಬಿಸಿದೆ. ಈ ಹೊಸ ದತ್ತಾಂಶವು ಕಾರ್ಯಕ್ಷಮತೆಯ ಪೈಪೋಟಿಯನ್ನು ಹೆಚ್ಚಿಸಿದೆ. ಹೆಚ್ಚಿನ AI ಸಂಸ್ಥೆಗಳು ಇದೇ ರೀತಿಯ ದಕ್ಷತೆಯೊಂದಿಗೆ ಕಸ್ಟಮ್ ಇನ್ಫರೆನ್ಸ್ ಸಿಲಿಕಾನ್ ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿದರೆ, ಡೆವಲಪರ್‌ಗಳು CUDA ನಿಂದ ದೂರ ಸರಿಯಬಹುದು, ಇದು ಪರ್ಯಾಯ ಸ್ಟ್ಯಾಕ್‌ಗಳಿಗೆ (alternative stacks) ಮತ್ತು ವಿಭಜಿತ ಮಾರುಕಟ್ಟೆಗೆ (fragmented market) ಅವಕಾಶ ಮಾಡಿಕೊಡಬಹುದು ಎಂದು ವಿಶ್ಲೇಷಕರು ಎಚ್ಚರಿಸಿದ್ದಾರೆ.

OpenAI ನ ಮಿಶ್ರ-ಸಂಕೇತ ಕಾರ್ಯತಂತ್ರ (Mixed-Signal Strategy)

ಮುಖ್ಯ ಹಣಕಾಸು ಅಧಿಕಾರಿ Kelly Huang, Jalapeño ಅನ್ನು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಪಾಲುದಾರರಿಗೆ ಪೂರ್ಣ ಪ್ರಮಾಣದ ಬದಲಾವಣೆಯಾಗಿ ನೋಡದೆ, ವ್ಯಾಪಕವಾದ ಕಂಪ್ಯೂಟ್ ಯೋಜನೆಯ ಒಂದು ಭಾಗ ಎಂದು ವಿವರಿಸಿದ್ದಾರೆ. OpenAI ಇಂದಿಗೂ ವಿವಿಧ ಕೆಲಸಗಳಿಗಾಗಿ Nvidia, AMD, AWS ಮತ್ತು Cerebras ಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುತ್ತಿದೆ. Jalapeño ಇನ್ನೂ ಕೇವಲ ಎಂಜಿನಿಯರಿಂಗ್ ಸ್ಯಾಂಪಲ್ ಆಗಿದೆ; ಇದು Deepseek V4 Pro ನಂತಹ ದೊಡ್ಡ ಮಾಡೆಲ್‌ಗಳನ್ನು ಎದುರಿಸಬೇಕಿದೆ. ಪ್ರತಿಯೊಂದು ಕಾರ್ಯಕ್ಕೂ ಅತ್ಯುತ್ತಮ ವೆಚ್ಚ-ಕಾರ್ಯಕ್ಷಮತೆಯ (cost-performance) ಮಿಶ್ರಣವನ್ನು ಪಡೆಯಲು OpenAI ತನ್ನದೇ ಆದ ಸಿಲಿಕಾನ್ ಅನ್ನು ಥರ್ಡ್-ಪಾರ್ಟಿ ಆಕ್ಸಿಲರೇಟರ್‌ಗಳೊಂದಿಗೆ ಬಳಸಲಿದೆ ಎಂದು Huang ಅವರ ಹೇಳಿಕೆಗಳು ಸೂಚಿಸುತ್ತವೆ.

ವಿರೋಧಾತ್ಮಕ ಅಂಶಗಳು

ಆರಂಭಿಕ ಹಂತದ ಸ್ಯಾಂಪಲ್‌ಗಳು ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ಉತ್ಪಾದನೆ (volume production), ಇಳುವರಿ (yields) ಅಥವಾ ದೀರ್ಘಕಾಲದ ವಿಶ್ವಾಸಾರ್ಹತೆಯನ್ನು ಖಾತರಿಪಡಿಸುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಅತಿಯಾದ ಉತ್ಸಾಹವನ್ನು ನಿಯಂತ್ರಿಸಬೇಕು.

ಮುಂದೆ ಗಮನಿಸಬೇಕಾದವುಗಳು

  • ಉತ್ಪಾದನಾ ಬಿಡುಗಡೆ (Production rollout): OpenAI Jalapeño ಅನ್ನು ಸಗಟು ಉತ್ಪಾದನೆಯ ಭಾಗವಾಗಿ ಪರಿವರ್ತಿಸಬಲ್ಲದೇ ಮತ್ತು ಅದರ ಬೆಲೆ ಎಷ್ಟು?
  • ಸಾಫ್ಟ್‌ವೇರ್ ಸ್ಟ್ಯಾಕ್ (Software stack): ಡೆವಲಪರ್‌ಗಳಿಗಾಗಿ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಮಾಡೆಲ್ ಮತ್ತು ಟೂಲ್‌ಚೈನ್ ಎಷ್ಟು ಪರಿಪೂರ್ಣವಾಗಿರಲಿವೆ?
  • ಸ್ಪರ್ಧಿಗಳ ಪ್ರತಿಕ್ರಿಯೆ: ಮಾರುಕಟ್ಟೆ ಪಾಲನ್ನು ರಕ್ಷಿಸಲು Nvidia ಮತ್ತು ಇತರ ಮಾರಾಟಗಾರರು ತಮ್ಮ ರೋಡ್‌ಮ್ಯಾಪ್ ಅಥವಾ ಬೆಲೆಗಳನ್ನು ಹೇಗೆ ಬದಲಾಯಿಸುತ್ತಾರೆ?
  • ಮಾಡೆಲ್ ಸ್ಕೇಲಿಂಗ್: ಮುಂದಿನ ಟ್ರಿಲಿಯನ್-ಪ್ಯಾರಾಮೀಟರ್ ಮಾಡೆಲ್‌ಗಳ ಅಲೆ ಎದುರಿಸುವಾಗ Jalapeño ತನ್ನ ಪ್ರಾಬಲ್ಯವನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತದೆಯೇ?

ಸಾರಾಂಶ (Takeaway): ಕಸ್ಟಮ್ ಇನ್ಫರೆನ್ಸ್ ಸಿಲಿಕಾನ್ ಒಂದು ಸಣ್ಣ ಪ್ರಯೋಗದಿಂದ ಹೊರಬಂದು, Nvidia ನ ಹಾರ್ಡ್‌ವೇರ್ ಪ್ರಾಬಲ್ಯಕ್ಕೆ ಒಂದು ಗಂಭೀರ ಸವಾಲಾಗಿ ಪರಿಣಮಿಸುತ್ತಿದೆ.