OpenAI Jalapeño Chip: OpenAI કેવી રીતે AI ખર્ચમાં 50% નો ઘટાડો કરે છે

OpenAI અને Broadcom એ હમણાં જ Jalapeño જાહેર કર્યું છે. તે એક કસ્ટમ ચિપ છે જે માત્ર એક જ કામ માટે બનાવવામાં આવી છે: લાર્જ લેંગ્વેજ મોડલ્સ (large language models) ચલાવવા માટે.

આ ચિપ Nvidia GPUs ની સરખામણીમાં ઇન્ફરન્સ (inference) ખર્ચમાં 50% નો ઘટાડો કરી શકે છે. એન્જિનિયરિંગ સેમ્પલ્સ અત્યારે જ GPT-5.3-Codex-Spark ચલાવી રહ્યા છે. તેનું મોટા પાયે ઉત્પાદન 2026 ના અંત સુધીમાં શરૂ થશે.

OpenAI દર વર્ષે ChatGPT ઇન્ફરન્સ પર અંદાજે $14 બિલિયન ખર્ચે છે. આ તેમની કુલ આવક કરતાં પણ વધુ છે. આ ખર્ચમાં 50% નો ઘટાડો કરવાથી તેઓ દર વર્ષે $7 બિલિયન બચાવી શકે છે. આ પગલું OpenAI ને સંભવિત 2026 ના IPO માટે તૈયાર કરવામાં મદદ કરશે.

તે કેવી રીતે કામ કરે છે:

મોટાભાગનું AI હાર્ડવેર GPUs નો ઉપયોગ કરે છે. GPUs એ સામાન્ય સાધનો છે. તેઓ ગ્રાફિક્સ, ટ્રેનિંગ અને ઇન્ફરન્સનું કામ કરે છે. આ લવચીકતા (flexibility) વધારાનો ખર્ચ (overhead) ઊભો કરે છે.

Jalapeño એ એક ASIC છે. આનો અર્થ એ છે કે તે એક ચોક્કસ કાર્ય માટે બનાવવામાં આવ્યું છે. તે મોડલ્સ ટ્રેન થયા પછી તેને ચલાવવા પર જ ધ્યાન કેન્દ્રિત કરે છે. તે સામાન્ય GPU કરતા મેમરી અને નેટવર્કિંગને વધુ કાર્યક્ષમ રીતે સંભાળે છે.

મુખ્ય વિગતો:

• તે TSMC 3nm ટેકનોલોજીનો ઉપયોગ કરે છે. • OpenAI એ આર્કિટેક્ચર ડિઝાઇન કર્યું છે. • Broadcom એ સિલિકોન ઇમ્પ્લીમેન્ટેશન સંભાળ્યું છે. • Microsoft પ્રથમ બેચના 40% ખરીદશે.

OpenAI એ આ ચિપ ડિઝાઇન કરવા માટે તેના પોતાના AI મોડલ્સનો ઉપયોગ કર્યો છે. AI એ કોડ લખ્યો અને લેઆઉટને ઓપ્ટિમાઇઝ કર્યું. આ એક ચક્ર (loop) બનાવે છે: AI વધુ સારા ચિપ્સ ડિઝાઇન કરવામાં મદદ કરે છે, અને વધુ સારા ચિપ્સ વધુ સારા AI ને ચલાવે છે.

તમારા માટે આનો અર્થ શું છે:

જો તમે OpenAI API નો ઉપયોગ કરો છો, તો તમે 12 થી 18 મહિનામાં આ ફેરફારો જોઈ શકો છો:

  • API ના નીચા ભાવ: OpenAI માટે ખર્ચ ઘટવાથી ડેવલપર્સ માટે સસ્તા દરે સેવાઓ મળી શકશે.
  • ઝડપી સ્પીડ: આ ચિપ ટ્રાન્સફોર્મર મોડલ્સ (transformer models) માટે તૈયાર કરવામાં આવી છે, જે લેટન્સી (latency) ઘટાડે છે.
  • સસ્તા સબ્સ્ક્રિપ્શન: ChatGPT Plus ના ભાવ ઘટી શકે છે અથવા તેમાં વધુ ફીચર્સ સામેલ થઈ શકે છે.

ધ્યાનમાં લેવા જેવા જોખમો છે:

  • કોઈ સ્વતંત્ર પરીક્ષણ નથી: મોટાભાગનો ડેટા OpenAI તરફથી જ આવે છે.
  • મર્યાદિત ઉપયોગ: આ ચિપ મોડલ્સને ટ્રેન કરી શકતી નથી. ટ્રેનિંગ માટે તમારે હજુ પણ Nvidia ની જરૂર પડશે.
  • નવી નિર્ભરતા: OpenAI હવે Nvidia થી Broadcom તરફ વળી રહ્યું છે.
  • ભવિષ્યની ટેકનોલોજી: જો AI મોડલ્સ તેમની રચના બદલે, તો આ ચિપનું મૂલ્ય ઘટી શકે છે.

OpenAI હવે માત્ર એક AI લેબ નથી. તે હવે એક ઇન્ફ્રાસ્ટ્રક્ચર કંપની છે. તેઓ મોડલ્સ, સોફ્ટવેર અને હવે હાર્ડવેર પર પણ નિયંત્રણ ધરાવે છે.

સ્ત્રોત: https://dev.to/tekmag/openai-jalapeno-chip-how-openais-custom-inference-asic-slashes-ai-costs-by-50%

વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi