OpenAI Jalapeño Chip: OpenAI कशा प्रकारे AI खर्च ५०% ने कमी करत आहे

OpenAI आणि Broadcom ने नुकताच Jalapeño जाहीर केला आहे. हा एक कस्टम चिप आहे जो केवळ एकाच कामासाठी बनवला आहे: लार्ज लँग्वेज मॉडेल्स चालवणे.

हा चिप Nvidia GPUs च्या तुलनेत इन्फरन्स (inference) खर्च ५०% ने कमी करू शकतो. इंजिनिअरिंग सॅम्पल्सवर आधीच GPT-5.3-Codex-Spark चालवले जात आहे. याचे मोठ्या प्रमाणावरील उत्पादन (mass production) २०२६ च्या उत्तरार्धात सुरू होईल.

OpenAI दरवर्षी ChatGPT इन्फरन्सवर सुमारे १४ अब्ज डॉलर्स खर्च करते. ही रक्कम त्यांच्या एकूण महसुलापेक्षाही जास्त आहे. हा खर्च ५०% ने कमी केल्यास त्यांचे दरवर्षी ७ अब्ज डॉलर्स वाचतील. ही पावले OpenAI ला संभाव्य २०२६ च्या IPO साठी तयार करण्यास मदत करतील.

हे कसे कार्य करते:

बहुतेक AI हार्डवेअरमध्ये GPUs वापरले जातात. GPUs हे सामान्य साधने आहेत. ते ग्राफिक्स, ट्रेनिंग आणि इन्फरन्सची कामे करतात. या लवचिकतेमुळे अतिरिक्त ओव्हरहेड (overhead) निर्माण होतो.

Jalapeño हा एक ASIC आहे. याचा अर्थ असा की तो एका विशिष्ट कार्यासाठी बनवला आहे. तो मॉडेल्स ट्रेन झाल्यानंतर ती चालवण्यावर लक्ष केंद्रित करतो. तो सामान्य GPU पेक्षा मेमरी आणि नेटवर्किंग अधिक कार्यक्षमतेने हाताळतो.

महत्त्वाचे तपशील:

• यात TSMC 3nm तंत्रज्ञान वापरले आहे. • OpenAI ने याचे आर्किटेक्चर डिझाइन केले आहे. • Broadcom ने सिलिकॉन इम्प्लिमेंटेशन हाताळले आहे. • Microsoft पहिल्या बॅचचा ४०% हिस्सा खरेदी करेल.

OpenAI ने हा चिप डिझाइन करण्यासाठी स्वतःच्या AI मॉडेल्सचा वापर केला. AI ने कोड लिहिला आणि लेआउट्स ऑप्टिमाइझ केले. यामुळे एक चक्र (loop) तयार होते: AI चांगले चिप्स डिझाइन करण्यास मदत करते आणि चांगले चिप्स अधिक चांगले AI चालवतात.

याचा तुमच्यासाठी काय अर्थ आहे:

जर तुम्ही OpenAI API वापरत असाल, तर तुम्हाला १२ ते १८ महिन्यांत हे बदल दिसू शकतात:

  • कमी API किमती: OpenAI चा खर्च कमी झाल्यामुळे डेव्हलपर्सना स्वस्त दरात सेवा मिळू शकेल.
  • वेगवान गती: हा चिप ट्रान्सफॉर्मर मॉडेल्ससाठी ट्यून केलेला आहे, ज्यामुळे लॅटन्सी (latency) कमी होते.
  • स्वस्त सबस्क्रिप्शन: ChatGPT Plus च्या किमती कमी होऊ शकतात किंवा त्यात अधिक फीचर्स समाविष्ट केले जाऊ शकतात.

विचारात घेण्यासारखे काही धोके आहेत:

  • स्वतंत्र चाचण्यांचा अभाव: बहुतेक डेटा OpenAI कडूनच येत आहे.
  • मर्यादित वापर: हा चिप मॉडेल्स ट्रेन करू शकत नाही. ट्रेनिंगसाठी तुम्हाला अजूनही Nvidia ची गरज पडेल.
  • नवीन अवलंबित्व: OpenAI आता Nvidia कडून Broadcom कडे वळत आहे.
  • भविष्यातील तंत्रज्ञान: जर AI मॉडेल्सनी त्यांची रचना बदलली, तर या चिपचे मूल्य कमी होऊ शकते.

OpenAI आता केवळ एक AI लॅब राहिलेली नाही. ती आता एक इन्फ्रास्ट्रक्चर कंपनी बनली आहे. त्यांच्या नियंत्रणात मॉडेल्स, सॉफ्टवेअर आणि आता हार्डवेअर देखील आहे.

स्रोत: https://dev.to/tekmag/openai-jalapeno-chip-how-openais-custom-inference-asic-slashes-ai-costs-by-50%

पर्यायी लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi