IBM, 512 k-ടോക്കൺ കോൺടെക്സ്റ്റ് വിൻഡോയും ഇൻ-ബിൽറ്റ് ഏജന്റിക് ടൂൾ ഉപയോഗവും (agentic tool use) വാഗ്ദാനം ചെയ്യുന്ന 3 ബില്യൺ, 8 ബില്യൺ, 30 ബില്യൺ പാരാമീറ്റർ വേരിയന്റുകളുള്ള Granite 4.2 ലാർജ് ലാംഗ്വേജ് മോഡൽ കുടുംബം പുറത്തിറക്കി. ഇവയെല്ലാം Apache 2.0 ലൈസൻസിന് കീഴിലാണ് ലഭ്യമാകുന്നത്. ഈ നീക്കം, വലിയ ഡോക്യുമെന്റുകളിൽ വിശകലനം നടത്താനും പ്രൊപ്രൈറ്ററി API-കളെ ആശ്രയിക്കാതെ സ്വയം പ്രവർത്തിക്കാനും കഴിയുന്ന അപൂർവ്വമായ ഒരു ഓപ്പൺ-വെയ്റ്റ്, എന്റർപ്രൈസ്-ഗ്രേഡ് AI ഡെവലപ്പർമാർക്ക് നൽകുന്നു.

എന്തുകൊണ്ടാണ് IBM-ന്റെ ഈ ഓപ്പൺ-വെയ്റ്റ് നീക്കം ഇപ്പോൾ പ്രസക്തമാകുന്നത്

അനുമതി നൽകുന്ന ഈ ലൈസൻസ്, കമ്പനികൾക്ക് ലൈസൻസിംഗ് ഫീസുകൾ ഇല്ലാതെ തന്നെ മോഡലുകൾ ഓൺ-പ്രെമിസസിലോ, പ്രൈവറ്റ് ക്ലൗഡുകളിലോ, അല്ലെങ്കിൽ എഡ്ജ് ഡിവൈസുകളിലോ പ്രവർത്തിപ്പിക്കാൻ അനുവദിക്കുന്നു—തങ്ങളുടെ ഡാറ്റ പുറത്തുള്ള സേവനങ്ങളിലേക്ക് വെളിപ്പെടുത്താൻ കഴിയാത്ത നിയന്ത്രണങ്ങളുള്ള വ്യവസായങ്ങൾക്ക് ഇത് വലിയൊരു നേട്ടമാണ്.

സാങ്കേതിക മുന്നേറ്റം

  • സ്കെയിലും ട്രെയിനിംഗ് ഡാറ്റയും – ഏറ്റവും വലിയ വാണിജ്യ അടിസ്ഥാന മോഡലുകളോട് കിടപിടിക്കുന്ന ഏകദേശം 15 ട്രില്യൺ ടോക്കണുകൾ ഉപയോഗിച്ചാണ് IBM ഈ മോഡലുകൾ പൂജ്യത്തിൽ നിന്ന് പരിശീലിപ്പിച്ചത്.
  • കോൺടെക്സ്റ്റ് വിൻഡോ – 512 k-ടോക്കൺ വിൻഡോ ഉള്ളതിനാൽ, ഒരു തവണ മാത്രം ഉപയോഗിച്ച് മുഴുവൻ കോഡ്ബേസുകളോ, ദീർഘമായ പോളിസി ഡോക്യുമെന്റുകളോ, അല്ലെങ്കിൽ ഒന്നിലധികം അധ്യായങ്ങളുള്ള പുസ്തകങ്ങളോ കൈകാര്യം ചെയ്യാൻ സാധിക്കും. ഇത് ഡാറ്റാ ചങ്കിംഗ് (chunking), പുനഃസംയോജനം എന്നിവയുടെ ആവശ്യം ഇല്ലാതാക്കുന്നു.
  • ഡ്യുവൽ-മോഡ് കമ്പ്യൂട്ട് – ഒരു "thinking" മോഡ് ആഴത്തിലുള്ള വിശകലനത്തിനായി ഉപയോഗിക്കുമ്പോൾ, "non-thinking" മോഡ് കുറഞ്ഞ GPU ആവശ്യകതയോടെ ലളിതമായ വിവരങ്ങൾ കണ്ടെത്താൻ സഹായിക്കുന്നു. ഈ ഓപ്ഷൻ ഉപയോഗിച്ച് ലേറ്റൻസിയും (latency) ഓരോ റിക്വസ്റ്റിനും വരുന്ന ചിലവും നിയന്ത്രിക്കാൻ ഉപയോക്താക്കൾക്ക് സാധിക്കും.
  • ഏജന്റിക് റൈൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗ് – 8 B, 30 B മോഡലുകൾ പ്രത്യേകമായ ഒരു RL ഘട്ടത്തിലൂടെ കടന്നുപോയിട്ടുണ്ട്. ഇത് ബാഹ്യ ടൂളുകൾ ഉപയോഗിക്കാനും, സാൻഡ്‌ബോക്സ്ഡ് കോഡ് പ്രവർത്തിപ്പിക്കാനും, വെബ് സെർച്ചുകൾ നടത്താനും അവയെ പഠിപ്പിക്കുന്നു. ഈ മോഡലുകൾ OpenAI ശൈലിയിലുള്ള ടൂൾ-കോളിംഗ് എൻഡ്‌പോയിന്റുകൾ നൽകുന്നതിനാൽ, നിലവിലുള്ള ഓർക്കസ്ട്രേഷൻ പൈപ്പ്‌ലൈനുകൾ മാറ്റം വരുത്താതെ തന്നെ ഉപയോഗിക്കാം.
  • ഇൻഫറൻസ് സൗഹൃദം – vLLM, SGLang എന്നിവയുമായുള്ള പൊരുത്തം കാരണം സാധാരണ ഹാർഡ്‌വെയറുകളിൽ പോലും ഉയർന്ന വേഗതയിൽ ഈ മോഡലുകൾ പ്രവർത്തിപ്പിക്കാൻ സാധിക്കും. ഒരേസമയം നിരവധി ഏജന്റുകളെ പ്രവർത്തിപ്പിക്കുന്ന എന്റർപ്രൈസുകൾക്ക് ഇത് പ്രായോഗികമായ ഒരു നേട്ടമാണ്.

സ്പീച്ച് സൈഡ്-ട്രാക്ക്: Granite Speech 5.0 Turbo CTC

LLM ശ്രേണിക്കൊപ്പം, 470 മില്യൺ പാരാമീറ്ററുകളുള്ള Granite Speech 5.0 Turbo CTC എന്ന പേരിൽ ഒരു സ്പീച്ച്-ടു-ടെക്സ്റ്റ് മോഡലും IBM പുറത്തിറക്കി. മൂന്ന് മണിക്കൂർ ദൈർഘ്യമുള്ള ഓഡിയോ വെറും ഒരു സെക്കൻഡിൽ ട്രാൻസ്ക്രൈബ് ചെയ്യാൻ ഇതിന് കഴിയുമെന്ന് IBM അവകാശപ്പെടുന്നു; ഇത് Open ASR ലീഡർബോർഡിലെ മുൻനിര മോഡലുകളേക്കാൾ ഇരട്ടി വേഗതയാണ്. ഇതിന്റെ ചെറിയ വലിപ്പവും ഉയർന്ന വേഗതയും റിയൽ-ടൈം ക്യാപ്ഷനിംഗ്, കോൾ സെന്റർ അനലിറ്റിക്സ്, വലിയ തോതിലുള്ള ഓഡിയോ ഇൻജഷൻ പൈപ്പ്‌ലൈനുകൾ എന്നിവയ്ക്ക് അനുയോജ്യമാക്കുന്നു.

AI ഇക്കോസിസ്റ്റത്തിനായുള്ള വെല്ലുവിളികളും സാധ്യതകളും

ആർക്കാണ് നേട്ടം:

  • എന്റർപ്രൈസുകൾക്ക് ചെലവേറിയ API ഉപയോഗത്തിന് പകരമായി കുറഞ്ഞ ചിലവിൽ സ്വയം ഹോസ്റ്റ് ചെയ്യാവുന്ന ഒരു ബദൽ ലഭിക്കുന്നു.
  • ഡെവലപ്പർമാർക്ക് വാണിജ്യ ലൈസൻസുകൾക്കായി ചർച്ചകൾ നടത്താതെ തന്നെ ഉപയോഗിക്കാവുന്ന ഒരു റെഡിമെയ്ഡ് ഏജന്റിക് സ്റ്റാക്ക് ലഭിക്കുന്നു.
  • IBM തങ്ങളുടെ ഗവേഷണ ശേഷി പ്രകടിപ്പിക്കുന്ന ഒരു ഫ്ലാഗ്ഷിപ്പ് ഓപ്പൺ സോഴ്സ് ഉൽപ്പന്നം നൽകുന്നതിലൂടെ AI മത്സരത്തിൽ തങ്ങളുടെ പ്രസക്തി വീണ്ടും ഉറപ്പിക്കുന്നു.

ആർക്കാണ് ഭീഷണി:

  • പ്രൊപ്രൈറ്ററി മോഡലുകളിലൂടെ ഉപഭോക്താക്കളെ തളച്ചിടുന്ന ക്ലോസ്ഡ്-സോഴ്സ് പ്രൊവൈഡർമാർക്ക്, ഉപഭോക്താക്കൾ ലോക്കൽ ആയി ഹോസ്റ്റ് ചെയ്യുന്ന ഗ്രാനൈറ്റ് ഏജന്റുകളിലേക്ക് മാറുന്നതോടെ ബിസിനസ്സ് കുറയാൻ സാധ്യതയുണ്ട്.
  • ചെറിയ ഓപ്പൺ സോഴ്സ് പ്രോജക്റ്റുകൾക്ക് ഇത് വെല്ലുവിളിയായേക്കാം; ഗ്രാനൈറ്റിന്റെ വലിപ്പവും ടൂളിംഗ് സപ്പോർട്ടും കമ്മ്യൂണിറ്റി അധിഷ്ഠിത ശ്രമങ്ങൾക്ക് ഉയർന്ന നിലവാരം നിശ്ചയിക്കുന്നു.

ചിലവുകളും വിട്ടുവീഴ്ചകളും: അരലക്ഷം ടോക്കൺ കോൺടെക്സ്റ്റുള്ള ഒരു 30 B മോഡൽ പ്രവർത്തിപ്പിക്കാൻ ഇപ്പോഴും ഉയർന്ന നിലവാരമുള്ള GPU-കളോ ക്ലസ്റ്ററുകളോ ആവശ്യമാണ്; API ഫീസുകൾ ലാഭിക്കുന്നതിനെ അപേക്ഷിച്ച് ഹാർഡ്‌വെയറിനായി എത്രത്തോളം നിക്ഷേപിക്കണം എന്ന് സ്ഥാപനങ്ങൾ ആലോചിക്കേണ്ടതുണ്ട്.

ചുരുക്കത്തിൽ

Granite 4.2 യഥാർത്ഥത്തിൽ എന്റർപ്രൈസ്-ഗ്രേഡ് ആയ ഒരു ഓപ്പൺ-വെയ്റ്റ് AI പൊതുസമൂഹത്തിന് ലഭ്യമാക്കുന്നു, ഇത് വലിയ കോൺടെക്സ്റ്റ് വിൻഡോകളെ മികച്ച ടൂൾ ഉപയോഗവുമായി സംയോജിപ്പിക്കുന്നു. ഇതിന്റെ Apache 2.0 ലൈസൻസ് നിയമപരമായ തടസ്സങ്ങൾ ഒഴിവാക്കുന്നുണ്ടെങ്കിലും, ഹാർഡ്‌വെയർ, സുരക്ഷാ വെല്ലുവിളികൾ എന്നിവ കാരണം മികച്ച കമ്പ്യൂട്ടിംഗ് ശേഷിയുള്ള സ്ഥാപനങ്ങളിൽ മാത്രമേ ഇത് ആദ്യം സ്വീകരിക്കപ്പെടുകയുള്ളൂ. കമ്മ്യൂണിറ്റി ഇതിനെ പിന്തുണച്ചാൽ, അടുത്ത തലമുറ ഓട്ടോണമസ് ഏജന്റുകളുടെ നട്ടെല്ലായി ഗ്രാനൈറ്റ് മാറാൻ സാധ്യതയുണ്ട്. ഇത് വലിപ്പത്തിലോ ശേഷിയിലോ വിട്ടുവീഴ്ചയില്ലാത്ത ഓപ്പൺ സോഴ്സ് ബദലുകളെ നേരിടാൻ ആഗോള AI വിപണിയെ നിർബന്ധിതമാക്കും.