OpenAI ಅತಿಥಿ ಬಳಕೆದಾರರಿಗಾಗಿ ChatGPT ಇನ್ಫರೆನ್ಸ್ (Inference) ವೆಚ್ಚವನ್ನು 50% ಕ್ಕಿಂತ ಹೆಚ್ಚು ಕಡಿಮೆ ಮಾಡಿದೆ

ಅತಿಥಿ ChatGPT ಬಳಕೆದಾರರಿಗಾಗಿ ಇನ್ಫರೆನ್ಸ್ ವೆಚ್ಚವನ್ನು ಅರ್ಧಕ್ಕಿಂತ ಹೆಚ್ಚು ಕಡಿಮೆ ಮಾಡುವ ಮೂಲಕ OpenAI ಕಾರ್ಯಾಚರಣೆಯ ದಕ್ಷತೆಯಲ್ಲಿ ದೊಡ್ಡ ಮಟ್ಟದ ಯಶಸ್ಸನ್ನು ಸಾಧಿಸಿದೆ. ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ AI ಮಾದರಿಗಳನ್ನು ನಡೆಸುವ ವೆಚ್ಚದಲ್ಲಿನ ಈ ಗಮನಾರ್ಹ ಕಡಿತವು, ಬೃಹತ್ ಪ್ರಮಾಣದ AI ನಿಯೋಜನೆಯನ್ನು ಹೆಚ್ಚು ಸುಸ್ಥಿರಗೊಳಿಸುವಲ್ಲಿ ಒಂದು ನಿರ್ಣಾಯಕ ಹೆಜ್ಜೆಯಾಗಿದೆ.

ಅತಿಥಿ ಅನುಭವವನ್ನು ಉತ್ತಮಗೊಳಿಸುವುದು (Optimizing the Guest Experience)

The Information ವರದಿಗಳ ಪ್ರಕಾರ, ಖಾತೆಯಿಲ್ಲದೆ ChatGPT ಬಳಸುವ ಸಂದರ್ಶಕರನ್ನು ಗುರಿಯಾಗಿಸಿಕೊಂಡು OpenAI ಎಂಜಿನಿಯರ್‌ಗಳು ಹೊಸ ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳನ್ನು (optimizations) ಯಶಸ್ವಿಯಾಗಿ ಜಾರಿಗೆ ತಂದಿದ್ದಾರೆ. Plus ಅಥವಾ Team ಚಂದಾದಾರರಿಗೆ ಹೋಲಿಸಿದರೆ ಅತಿಥಿ ಬಳಕೆದಾರರು ಪ್ರಸ್ತುತ ಸೀಮಿತ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಮಾತ್ರ ಬಳಸಬಹುದಾಗಿದ್ದರೂ, ಹಾರ್ಡ್‌ವೇರ್ ಅಗತ್ಯಗಳ ಮೇಲೆ ಇದರ ಪ್ರಭಾವವು ಬಹಳ ದೊಡ್ಡದಿದೆ.

ಈ ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳ ಮೂಲಕ ಪಡೆದ ತಾಂತ್ರಿಕ ದಕ್ಷತೆಯು, ಈ ನಿರ್ದಿಷ್ಟ ಬಳಕೆದಾರರಿಗೆ ಸೇವೆ ನೀಡಲು ಅಗತ್ಯವಿರುವ Nvidia GPUs ಸಂಖ್ಯೆಯನ್ನು ಕೇವಲ ಕೆಲವು ನೂರಕ್ಕೆ ಇಳಿಸಿದೆ. ಈ ಲಾಭವನ್ನು ಸಾಧಿಸಲು ಬಳಸಲಾದ ನಿಖರ ವಿಧಾನವು ಗೌಪ್ಯವಾಗಿದ್ದರೂ, ವೆಚ್ಚದ ಕಡಿತದ ಪ್ರಮಾಣವು OpenAI ತನ್ನ ಕಂಪ್ಯೂಟ್-ಭಾರಿತ ಇನ್ಫರೆನ್ಸ್ ಕೆಲಸದ ಹೊರೆಯನ್ನು (workloads) ಹೇಗೆ ನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬುದರಲ್ಲಿನ ದೊಡ್ಡ ಪ್ರಗತಿಯನ್ನು ಸೂಚಿಸುತ್ತದೆ.

ಇನ್ಫರೆನ್ಸ್ ದಕ್ಷತೆಗಾಗಿ ಸ್ಪರ್ಧೆ

ಕಂಪ್ಯೂಟಿಂಗ್‌ನ ಹೆಚ್ಚಿನ ವೆಚ್ಚವು AI ಸೇವೆಗಳನ್ನು ವಿಸ್ತರಿಸುವಲ್ಲಿ ಪ್ರಮುಖ ಅಡಚಣೆಯಾಗಿ ಉಳಿದಿರುವ ಈ ಸಂದರ್ಭದಲ್ಲಿ, ಈ ಬೆಳವಣಿಗೆಯು ಉದ್ಯಮಕ್ಕೆ ಅತ್ಯಂತ ನಿರ್ಣಾಯಕವಾಗಿದೆ. ಈ "ದಕ್ಷತೆಯ ಗಡಿ"ಯನ್ನು (efficiency frontier) ತಲುಪಲು ಗಮನಹರಿಸುತ್ತಿರುವ ಏಕೈಕ ಸಂಸ್ಥೆ OpenAI ಮಾತ್ರವಲ್ಲ. ಇತ್ತೀಚೆಗೆ, DeepSeek ಇನ್ಫರೆನ್ಸ್ ವಿನಂತಿಗಳನ್ನು (inference requests) 60% ರಿಂದ 85% ರಷ್ಟು ವೇಗಗೊಳಿಸುವ ಹೊಸ ಓಪನ್-ಸೋರ್ಸ್ ವಿಧಾನವನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿದೆ.

ಸ್ಪರ್ಧೆಯು ತೀವ್ರಗೊಳ್ಳುತ್ತಿದ್ದಂತೆ, ಕೇವಲ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ನಿರ್ಮಿಸುವುದರಿಂದ ಗಮನವು ಅವುಗಳನ್ನು ನಡೆಸಲು ಸ್ಮಾರ್ಟ್ ಮತ್ತು ಹೆಚ್ಚು ವೆಚ್ಚ-ಪರಿಣಾಮಕಾರಿ ಮಾರ್ಗಗಳನ್ನು ನಿರ್ಮಿಸುವುದರತ್ತ ಬದಲಾಗುತ್ತಿದೆ. AI ಪ್ರಯೋಗಾಲಯಗಳಿಗೆ, ಇನ್ಫರೆನ್ಸ್ ವೆಚ್ಚದಲ್ಲಿ ಉಳಿತಾಯವಾಗುವ ಪ್ರತಿ ಶೇಕಡಾವಾರು ಅಂಶವು ನೇರವಾಗಿ "ಉಸಿರಾಡುವ ಅವಕಾಶ"ಕ್ಕೆ (breathing room)—ಅಂದರೆ ಮುಂದಿನ ತಲೆಮಾರಿನ ಮಾದರಿಗಳನ್ನು ತರಬೇತಿಗೊಳಿಸಲು, ಪ್ರತಿಕ್ರಿಯೆಯ ವಿಳಂಬವನ್ನು (latency) ಸುಧಾರಿಸಲು ಅಥವಾ ಲಾಭದ ಪ್ರಮಾಣವನ್ನು ಹೆಚ್ಚಿಸಲು ಬಳಸಬಹುದಾದ ಹೆಚ್ಚುವರಿ ಸಂಪನ್ಮೂಲಗಳು ಎಂದರ್ಥ.

ವಿಶಾಲವಾದ AI ವಲಯದ ಮೇಲೆ ಪರಿಣಾಮ

ಈ ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳು ಪ್ರಸ್ತುತ ಉತ್ಪನ್ನದ ಸೀಮಿತ ಭಾಗಕ್ಕೆ ಮಾತ್ರ ಅನ್ವಯವಾಗುತ್ತಿದ್ದರೂ, ಅವು AI ಕಾರ್ಯತಂತ್ರದಲ್ಲಿನ ವಿಶಾಲವಾದ ಬದಲಾವಣೆಯನ್ನು ಸೂಚಿಸುತ್ತವೆ. ಕಂಪ್ಯೂಟಿಂಗ್‌ನ ಅತಿ ವೇಗದ ಬೇಡಿಕೆಗೆ ತಕ್ಕಂತೆ ಡೇಟಾ ಸೆಂಟರ್‌ಗಳ ನಿರ್ಮಾಣವು ಸಾ normalementವಾಗಿ ಸಾಗಲು ಕಷ್ಟಪಡುತ್ತಿರುವಾಗ, ಸಾಫ್ಟ್‌ವೇರ್ ಮಟ್ಟದ ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳು ಹಾರ್ಡ್‌ವೇರ್ ಸ್ಕೇಲಿಂಗ್‌ನಷ್ಟೇ ಪ್ರಮುಖವಾಗುತ್ತಿವೆ.

ಒಂದು ವೇಳೆ OpenAI ಈ ಇನ್ಫರೆನ್ಸ್ ಉಳಿತಾಯ ತಂತ್ರಗಳನ್ನು ಅತಿಥಿ ಇಂಟರ್ಫೇಸ್‌ನಿಂದ ಪೂರ್ಣ ಪ್ರಮಾಣದ ChatGPT ಉತ್ಪನ್ನಕ್ಕೆ ಯಶಸ್ವಿಯಾಗಿ ವರ್ಗಾಯಿಸಿದರೆ, ಅದು ಗ್ರಾಹಕ AI ನ ಆರ್ಥಿಕತೆಯನ್ನು ಮೂಲಭೂತವಾಗಿ ಬದಲಾಯಿಸಬಹುದು. ಡೆವಲಪರ್‌ಗಳು ಮತ್ತು ಸಂಸ್ಥಾಪಕರಿಗೆ, ಇದು ಬೆಳೆಯುತ್ತಿರುವ ಪ್ರವೃತ್ತಿಯನ್ನು ಎತ್ತಿ ತೋರಿಸುತ್ತದೆ: ಅತ್ಯಂತ ಯಶಸ್ವಿ AI ಕಂಪನಿಗಳು ಕೇವಲ ಹೆಚ್ಚಿನ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಹೊಂದಿರುವವುಗಳಲ್ಲ, ಬದಲಾಗಿ ಅತ್ಯಂತ ದಕ್ಷ ಇನ್ಫರೆನ್ಸ್ ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು (inference pipelines) ಹೊಂದಿರುವವುಗಳಾಗಿರುತ್ತವೆ.

ಪ್ರಮುಖ ಅಂಶಗಳು

• ದೊಡ್ಡ ಮಟ್ಟದ ವೆಚ್ಚ ಕಡಿತ: ಹೊಸ ಎಂಜಿನಿಯರಿಂಗ್ ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳ ಮೂಲಕ OpenAI ಅಕೌಂಟ್ ಇಲ್ಲದ ChatGPT ಬಳಕೆದಾರರಿಗಾಗಿ ಇನ್ಫರೆನ್ಸ್ ವೆಚ್ಚವನ್ನು 50% ಕ್ಕಿಂತ ಹೆಚ್ಚು ಕಡಿಮೆ ಮಾಡಿದೆ ಎಂದು ವರದಿಯಾಗಿದೆ.
• ಹಾರ್ಡ್‌ವೇರ್ ದಕ್ಷತೆ: ಈ ಆಪ್ಟಿಮೈಸೇಶನ್ ಅತಿಥಿ ಬಳಕೆದಾರರಿಗೆ ಸೇವೆ ನೀಡಲು ಅಗತ್ಯವಿರುವ Nvidia GPUಗಳ ಬಳಕೆಯನ್ನು ಕೇವಲ ಕೆಲವು ನೂರಕ್ಕೆ ಇಳಿಸಿದೆ.
• ಉದ್ಯಮದ ಪ್ರವೃತ್ತಿ: ಹಾರ್ಡ್‌ವೇರ್ ಪೂರೈಕೆಯು ಮಿತಿಯಾಗಿರುವಾಗ, ಉದ್ಯಮವು DeepSeek ನಂತಹ ಸ್ಪರ್ಧಿಗಳ ಇತ್ತೀಚಿನ ದಕ್ಷತೆಯ ಕ್ರಮಗಳನ್ನು ಅನುಸರಿಸಿ, ಇನ್ಫರೆನ್ಸ್ ವೇಗದ ಕ್ರಾಂತಿಯತ್ತ ಗಮನ ಹರಿಸುತ್ತಿದೆ.