OpenAI തങ്ങളുടെ സ്വന്തം ഇൻഫറൻസ് ചിപ്പായ Jalapeño പുറത്തിറക്കി. Nvidia-യുടെ GB200, GB300 ആക്സിലറേറ്ററുകളെ അപേക്ഷിച്ച് കിലോവാട്ട് പ്രത്യാവശ്യമായ 1.9 × വരെ ഉയർന്ന ത്രൂപുട്ട് (throughput) ഇത് നൽകുമെന്ന് കമ്പനി അവകാശപ്പെടുന്നു. സാധാരണയായി കസ്റ്റം AI പ്രോസസറുകൾ നിർമ്മിക്കാൻ രണ്ട് മുതൽ മൂന്ന് വർഷം വരെ എടുക്കുമ്പോൾ, വെറും ഒൻപത് മാസത്തിനുള്ളിൽ ഒരു സിലിക്കൺ ഡൈ (silicon die) എന്ന ആശയത്തെ പ്രവർത്തനക്ഷമമായ ഒന്നാക്കി മാറ്റാൻ ഈ ടീമിന് സാധിച്ചു.

ഈ വേഗതയുടെ പ്രാധാന്യം എന്തുകൊണ്ട്

OpenAI ഇപ്പോൾ Nvidia GPU-കളെ മാത്രം ആശ്രയിക്കുന്നതിന് പകരം Cerebras, AWS Trainium, AMD തുടങ്ങിയവയുടെ ഹാർഡ്‌വെയറുകളിൽ മോഡലുകൾ പ്രവർത്തിപ്പിക്കുന്നു. AI ഉപയോഗം ട്രെയിനിംഗിൽ നിന്ന് ഇൻഫറൻസിലേക്ക് (inference) മാറിക്കൊണ്ടിരിക്കുമ്പോൾ, ഊർജ്ജ ഉപയോഗവും ഓരോ ക്വറി ചെയ്യാനാവശ്യമായ ചിലവും നിർണ്ണായക ഘടകങ്ങളായി മാറുന്നു. ഒരു ട്രില്യൺ പാരാമീറ്റർ മോഡലിന് ആവശ്യമായ ഊർജ്ജം പകുതിയായി കുറയ്ക്കാൻ കഴിയുന്ന ഒരു ചിപ്പ്, ദിവസേന കോടിക്കണക്കിന് റിക്വസ്റ്റുകൾ കൈകാര്യം ചെയ്യുന്ന സേവനങ്ങളുടെ പ്രവർത്തനച്ചെലവ് ഗണ്യമായി കുറയ്ക്കും.

എങ്ങനെയാണ് AI ഈ ചിപ്പ് രൂപകൽപ്പന ചെയ്തത്

Jalapeño ഒരു ASIC ആണ്—അതായത് ലാർജ് ലാംഗ്വേജ് മോഡലുകൾ പ്രവർത്തിപ്പിക്കുക എന്ന ഒരൊറ്റ ലക്ഷ്യത്തിനായി നിർമ്മിച്ച ചിപ്പ്. ഒരു ജനറൽ പർപ്പസ് GPU-വിൽ നിന്ന് വ്യത്യസ്തമായി, ഒരു ASIC അനാവശ്യമായ ലോജിക്കുകൾ ഒഴിവാക്കി LLM ഇൻഫറൻസ് പാറ്റേണുകൾക്ക് അനുയോജ്യമായ രീതിയിൽ ഡാറ്റാ പാത്തുകൾ ക്രമീകരിക്കുന്നു. OpenAI എഞ്ചിനീയർമാർ ഈ ഡിസൈൻ തയ്യാറാക്കിയത് XLS എന്ന ഹാർഡ്‌വെയർ ഡിസ്ക്രിപ്ഷൻ ലാംഗ്വേജിലാണ്; മെഷീൻ ലേണിംഗ് മോഡലുകൾക്ക് കോഡ് നിർമ്മിക്കാൻ ഈ ഭാഷ അനുവദിക്കുന്നു. ചിപ്പിന്റെ കോറിന്റെ പകുതിയിലധികവും AI നിർമ്മിച്ച ലോജിക് ആണെന്നും, ഇത് ഡിസൈൻ പ്രക്രിയ വർഷങ്ങളിൽ നിന്ന് മാസങ്ങളിലേക്ക് ചുരുക്കിയെന്നും കമ്പനി പറയുന്നു.

പ്രകടന അവകാശവാദങ്ങളും യാഥാർത്ഥ്യവും

Jalapeño-യുടെ പ്രധാനപ്പെട്ട മൂന്ന് കണക്കുകൾ OpenAI നൽകുന്നു:

  • കിലോവാട്ട് പ്രത്യാവശ്യമായ ത്രൂപുട്ട്: Nvidia-യുടെ GB200/GB300-നേക്കാൾ 1.5 – 1.9 × കൂടുതൽ.
  • ലേറ്റൻസി (Latency): ഇതേ Nvidia മോഡലുകളേക്കാൾ 1.7 – 3.6 × കുറവ്.
  • 1-ട്രില്യൺ പാരാമീറ്റർ മോഡലിലെ പവർ ഡ്രോ: GB300-ലെ 1,400 W-ന് പകരം 700 W.

ഈ കണക്കുകൾ ശരിയാണെങ്കിൽ, ഒരു ഡാറ്റാ സെന്ററിന് പകുതി വൈദ്യുതി ചിലവിൽ കൂടുതൽ വേഗതയുള്ള മറുപടികൾ നൽകിക്കൊണ്ട് ഒരേ മോഡൽ തന്നെ പ്രവർത്തിപ്പിക്കാൻ കഴിയും. ഈ അവകാശവാദങ്ങൾ ഇൻഫറൻസിനെ കേന്ദ്രീകരിച്ചുള്ളതാണ്; ട്രെയിനിംഗ് പ്രകടനത്തെക്കുറിച്ച് OpenAI പ്രതിപാദിക്കുന്നില്ല, ഇത് ചാറ്റ് രീതിയിലുള്ള ആപ്ലിക്കേഷനുകൾക്ക് നൽകുന്ന മുൻഗണനയുമായി പൊരുത്തപ്പെടുന്നു.

ഇത് Nvidia-യെ എങ്ങനെ ബാധിക്കും

Nvidia-യുടെ വരാനിരിക്കുന്ന Blackwell, Vera Rubin ചിപ്പുകൾ ഉയർന്ന നിലവാരമുള്ള ആക്സിലറേറ്റർ വിപണിയെ ലക്ഷ്യം വെച്ചുള്ളതാണ്. പക്വതയാർന്ന സോഫ്റ്റ്‌വെയർ സ്റ്റാക്ക്, വിപുലമായ ഡെവലപ്പർ ഉപയോഗം, വിവിധ AI ജോലികൾ ചെയ്യാനുള്ള വഴക്കം എന്നിവയാണ് Nvidia-യുടെ കരുത്ത്. എന്നാൽ ഇതിനു വിപരീതമായി, Jalapeño ഒരു പ്രത്യേക ആവശ്യത്തിനായി മാത്രം നിർമ്മിച്ച ഉപകരണമാണ്; വർക്ക്ലോഡ് അതിന്റെ പ്രത്യേകതയുമായി പൊരുത്തപ്പെടുമ്പോൾ മാത്രമേ ഇത് വിജയിക്കുകയുള്ളൂ.

Nvidia നേരിടുന്ന സമ്മർദ്ദം രണ്ട് തരത്തിലുണ്ട്. ഒന്നാമതായി, കസ്റ്റം ASIC ഉപയോഗിക്കാൻ ശേഷിയുള്ള ഉപഭോക്താക്കൾ ലാഭത്തിനായി അവയിലേക്ക് മാറാൻ സാധ്യതയുണ്ട്, ഇത് Nvidia-യുടെ ഇൻഫറൻസ് വിപണിയിലെ പങ്കിനെ കുറയ്ക്കും. രണ്ടാമതായി, AI ഉപയോഗിച്ച് ഹാർഡ്‌വെയർ രൂപകൽപ്പന ചെയ്യാമെന്ന തെളിവ് എതിരാളികളുടെ വികസന കാലയളവ് കുറയ്ക്കാൻ കാരണമാകും, ഇത് Nvidia-യെ അവരുടെ റോഡ്മാപ്പ് വേഗത്തിലാക്കാൻ നിർബന്ധിതരാക്കും.

എതിർവാദങ്ങളും അവശേഷിക്കുന്ന ചോദ്യങ്ങളും

  • സോഫ്റ്റ്‌വെയർ ഇക്കോസിസ്റ്റം: Nvidia-യുടെ CUDA ലൈബ്രറികൾ, പ്രൊഫൈലിംഗ് ടൂളുകൾ, കമ്മ്യൂണിറ്റി പിന്തുണ എന്നിവ ഇപ്പോഴും ഭൂരിഭാഗം ഡെവലപ്പർമാർക്കും വലിയ മുൻതൂക്കം നൽകുന്നു. Jalapeño സംയോജിപ്പിക്കാൻ പുതിയ ടൂൾചെയിനുകളും ഒരുപക്ഷേ കോഡുകൾ വീണ്ടും എഴുതേണ്ടി വരികയും ചെയ്യും.
  • യഥാർത്ഥ ലോകത്തിലെ പരിശോധനകൾ: ഈ കണക്കുകൾ OpenAI-യുടെ ആഭ്യന്തര പരിശോധനകളിൽ നിന്നുള്ളതാണ്. സ്വതന്ത്രമായ ബെഞ്ച്മാർക്കുകൾ, ദീർഘകാല വിശ്വാസ്യത, വിവിധ ലോഡുകൾക്കിടയിലെ പ്രവർത്തനം എന്നിവ ഇതുവരെ പരിശോധിക്കപ്പെട്ടിട്ടില്ല.
  • ഇക്കണോമിക്സ് ഓഫ് സ്കെയിൽ: ഉൽപ്പാദനം കൂടുന്തോറും ഒരു ASIC-ന്റെ സാമ്പത്തിക ലാഭം വർദ്ധിക്കും. OpenAI-യുടെ ആഭ്യന്തര ഉപയോഗത്തിന് ഈ നിക്ഷേപം ലാഭകരമായേക്കാം, എന്നാൽ ഉൽപ്പാദനം വലിയ തോതിൽ വർദ്ധിച്ചില്ലെങ്കിൽ പുറത്തുള്ള ഉപഭോക്താക്കൾക്ക് ഉയർന്ന വില നൽകേണ്ടി വന്നേക്കാം.

ഭാവിയിലേക്ക്

നിലവിൽ, AI സ്റ്റാക്കിന്റെ ഏറ്റവും ചിലവേറിയ ഭാഗത്ത് നിലവിലുള്ള GPU-വിനേക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവെക്കാൻ ഒൻപത് മാസത്തെ ഒരു സ്പ്രിന്റ് മതിയാകുമെന്ന് Jalapeño തെളിയിക്കുന്നു. യഥാർത്ഥ ലോകത്തെ വർക്ക്ലോഡുകൾക്കിടയിലും ഈ നേട്ടം നിലനിൽക്കുമോ എന്നതാണ് ഇനി വരാനിരിക്കുന്ന പരീക്ഷണം.