OpenAI Jalapeño ಚಿಪ್: OpenAI ತನ್ನ AI ವೆಚ್ಚಗಳನ್ನು 50% ರಷ್ಟು ಹೇಗೆ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ

OpenAI ಮತ್ತು Broadcom ಈಗಷ್ಟೇ Jalapeño ಅನ್ನು ಅನಾವರಣಗೊಳಿಸಿವೆ. ಇದು ಕೇವಲ ಒಂದು ಕೆಲಸಕ್ಕಾಗಿ ನಿರ್ಮಿಸಲಾದ ಕಸ್ಟಮ್ ಚಿಪ್ ಆಗಿದೆ: ಅಂದರೆ ಲಾರ್ಜ್ ಲ್ಯಾಂಗ್ವೇಜ್ ಮಾಡೆಲ್‌ಗಳನ್ನು (large language models) ಚಲಾಯಿಸುವುದು.

ಈ ಚಿಪ್ Nvidia GPUಗಳಿಗಿಂತ ಇನ್ಫರೆನ್ಸ್ (inference) ವೆಚ್ಚವನ್ನು 50% ರಷ್ಟು ಕಡಿಮೆ ಮಾಡಬಹುದು. ಎಂಜಿನಿಯರಿಂಗ್ ಸ್ಯಾಂಪಲ್‌ಗಳು ಈಗಾಗಲೇ GPT-5.3-Codex-Spark ಅನ್ನು ಚಲಾಯಿಸುತ್ತಿವೆ. ಇದರ ಸಾಮೂಹಿಕ ಉತ್ಪಾದನೆಯು 2026ರ ಅಂತ್ಯದ ವೇಳೆಗೆ ಪ್ರಾರಂಭವಾಗಲಿದೆ.

OpenAI ತನ್ನ ChatGPT ಇನ್ಫರೆನ್ಸ್‌ಗಾಗಿ ವರ್ಷಕ್ಕೆ ಸುಮಾರು $14 ಬಿಲಿಯನ್ ಖರ್ಚು ಮಾಡುತ್ತದೆ. ಇದು ಅವರ ಒಟ್ಟು ಆದಾಯಕ್ಕಿಂತಲೂ ಹೆಚ್ಚು. ಈ ವೆಚ್ಚವನ್ನು 50% ರಷ್ಟು ಕಡಿಮೆ ಮಾಡುವುದರಿಂದ ಅವರಿಗೆ ಪ್ರತಿ ವರ್ಷ $7 ಬಿಲಿಯನ್ ಉಳಿತಾಯವಾಗುತ್ತದೆ. ಈ ಕ್ರಮವು OpenAI ತನ್ನ ಸಂಭಾವ್ಯ 2026ರ IPO ಗೆ ಸಿದ್ಧರಾಗಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ಇದು ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ:

ಹೆಚ್ಚಿನ AI ಹಾರ್ಡ್‌ವೇರ್‌ಗಳು GPUಗಳನ್ನು ಬಳಸುತ್ತವೆ. GPUಗಳು ಸಾಮಾನ್ಯ ಪರಿಕರಗಳಾಗಿವೆ. ಅವು ಗ್ರಾಫಿಕ್ಸ್, ಟ್ರೈನಿಂಗ್ ಮತ್ತು ಇನ್ಫರೆನ್ಸ್ ಕೆಲಸಗಳನ್ನು ಮಾಡುತ್ತವೆ. ಈ ನಮ್ಯತೆಯು (flexibility) ಹೆಚ್ಚುವರಿ ಹೊರೆಯನ್ನು (overhead) ಉಂಟುಮಾಡುತ್ತದೆ.

Jalapeño ಒಂದು ASIC ಆಗಿದೆ. ಅಂದರೆ ಇದನ್ನು ಒಂದು ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯಕ್ಕಾಗಿ ನಿರ್ಮಿಸಲಾಗಿದೆ. ಇದು ಮಾಡೆಲ್‌ಗಳನ್ನು ತರಬೇತಿ (train) ಮಾಡಿದ ನಂತರ ಅವುಗಳನ್ನು ಚಲಾಯಿಸುವುದರ ಮೇಲೆ ಮಾತ್ರ ಗಮನ ಹರಿಸುತ್ತದೆ. ಇದು ಸಾಮಾನ್ಯ GPUಗಿಂತ ಮೆಮೊರಿ ಮತ್ತು ನೆಟ್‌ವರ್ಕಿಂಗ್ ಅನ್ನು ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ನಿರ್ವಹಿಸುತ್ತದೆ.

ಪ್ರಮುಖ ವಿವರಗಳು:

• ಇದು TSMC 3nm ತಂತ್ರಜ್ಞಾನವನ್ನು ಬಳಸುತ್ತದೆ. • OpenAI ಇದರ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಿದೆ. • Broadcom ಸಿಲಿಕಾನ್ ಅನುಷ್ಠಾನವನ್ನು (silicon implementation) ನಿರ್ವಹಿಸಿದೆ. • Microsoft ಮೊದಲ ಬ್ಯಾಚ್‌ನ 40% ಅನ್ನು ಖರೀದಿಸುತ್ತದೆ.

OpenAI ಈ ಚಿಪ್ ಅನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲು ತನ್ನದೇ ಆದ AI ಮಾಡೆಲ್‌ಗಳನ್ನು ಬಳಸಿದೆ. AI ಕೋಡ್ ಬರೆಯಿತು ಮತ್ತು ಲೇಔಟ್‌ಗಳನ್ನು ಉತ್ತಮಗೊಳಿಸಿತು (optimized). ಇದು ಒಂದು ಚಕ್ರವನ್ನು (loop) ಸೃಷ್ಟಿಸುತ್ತದೆ: AI ಉತ್ತಮ ಚಿಪ್‌ಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ, ಮತ್ತು ಉತ್ತಮ ಚಿಪ್‌ಗಳು ಉತ್ತಮ AI ಅನ್ನು ಚಲಾಯಿಸುತ್ತವೆ.

ಇದು ನಿಮಗಾಗಿ ಏನನ್ನು ಸೂಚಿಸುತ್ತದೆ:

ನೀವು OpenAI API ಬಳಸುತ್ತಿದ್ದರೆ, ಮುಂದಿನ 12 ರಿಂದ 18 ತಿಂಗಳುಗಳಲ್ಲಿ ಈ ಬದಲಾವಣೆಗಳನ್ನು ನೋಡಬಹುದು:

  • ಕಡಿಮೆ API ಬೆಲೆಗಳು: OpenAI ಗೆ ವೆಚ್ಚ ಕಡಿಮೆಯಾದಾಗ, ಇದು ಡೆವಲಪರ್‌ಗಳಿಗೆ ಕಡಿಮೆ ದರಗಳನ್ನು ನೀಡಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.
  • ಹೆಚ್ಚಿನ ವೇಗ: ಈ ಚಿಪ್ ಅನ್ನು transformer ಮಾಡೆಲ್‌ಗಳಿಗಾಗಿ ಹೊಂದಿಸಲಾಗಿದೆ, ಇದು ವಿಳಂಬವನ್ನು (latency) ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
  • ಅಗ್ಗದ ಚಂದಾದಾರಿಕೆಗಳು: ChatGPT Plus ಬೆಲೆಗಳು ಇಳಿಕೆಯಾಗಬಹುದು ಅಥವಾ ಹೆಚ್ಚಿನ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಒಳಗೊಂಡಿರಬಹುದು.

ಪರಿಗಣಿಸಬೇಕಾದ ಅಪಾಯಗಳು ಇಲ್ಲಿವೆ:

  • ಸ್ವತಂತ್ರ ಪರೀಕ್ಷೆಗಳಿಲ್ಲ: ಹೆಚ್ಚಿನ ಡೇಟಾ OpenAI ನಿಂದಲೇ ಬಂದಿದೆ.
  • ಸೀಮಿತ ಬಳಕೆ: ಈ ಚಿಪ್ ಮಾಡೆಲ್‌ಗಳನ್ನು ತರಬೇತಿ ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ. ತರಬೇತಿಗಾಗಿ ನೀವು ಇನ್ನೂ Nvidia ಅನ್ನು ಅವಲಂಬಿಸಬೇಕಾಗುತ್ತದೆ.
  • ಹೊಸ ಅವಲಂಬನೆ: OpenAI ಈಗ Nvidia ನಿಂದ Broadcom ಗೆ ಬದಲಾಗುತ್ತಿದೆ.
  • ಭವಿಷ್ಯದ ತಂತ್ರಜ್ಞಾನ: ಒಂದು ವೇಳೆ AI ಮಾಡೆಲ್‌ಗಳು ತಮ್ಮ ರಚನೆಯನ್ನು ಬದಲಾಯಿಸಿಕೊಂಡರೆ, ಈ ಚಿಪ್ ತನ್ನ ಮೌಲ್ಯವನ್ನು ಕಳೆದುಕೊಳ್ಳಬಹುದು.

OpenAI ಈಗ ಕೇವಲ ಒಂದು AI ಪ್ರಯೋಗಾಲಯವಲ್ಲ. ಇದು ಈಗ ಒಂದು ಇನ್ಫ್ರಾಸ್ಟ್ರಕ್ಚರ್ (infrastructure) ಕಂಪನಿಯಾಗಿದೆ. ಅವರು ಮಾಡೆಲ್‌ಗಳು, ಸಾಫ್ಟ್‌ವೇರ್ ಮತ್ತು ಈಗ ಹಾರ್ಡ್‌ವೇರ್ ಅನ್ನು ಸಹ ನಿಯಂತ್ರಿಸುತ್ತಿದ್ದಾರೆ.

Source: https://dev.to/tekmag/openai-jalapeno-chip-how-openais-custom-inference-asic-slashes-ai-costs-by-50%

Optional learning community: https://t.me/GyaanSetuAi