മൈക്രോസോഫ്റ്റ് ഓപ്പൺ സോഴ്‌സ് BitNet ഫ്രെയിംവർക്ക് പ്രഖ്യാപിച്ചു. ഒരു സിംഗിൾ CPU-യിൽ 1-ബിറ്റ് ലാർജ് ലാംഗ്വേജ് മോഡലുകൾ (LLMs) പ്രവർത്തിപ്പിക്കാൻ ഇത് ഡെവലപ്പർമാരെ സഹായിക്കുന്നു. നിലവിലുള്ള CPU-മാത്രം ഉപയോഗിക്കുന്ന ഇൻഫറൻസ് കോഡിനേക്കാൾ ആറ് മടങ്ങ് വരെ വേഗത ഇതിലൂടെ ലഭിക്കുമെന്ന് അവകാശപ്പെടുന്നു.

എന്തുകൊണ്ടാണ് ഒരു 1-ബിറ്റ് മോഡൽ പ്രധാനമാകുന്നത്

മിക്ക ആധുനിക LLM-കളും 16 അല്ലെങ്കിൽ 32-ബിറ്റ് ഫ്ലോട്ടിംഗ് പോയിന്റ് നമ്പറുകളാണ് ഉപയോഗിക്കുന്നത്, ഇത് മെമ്മറി ഉപയോഗവും ഊർജ്ജ ഉപഭോഗവും വർദ്ധിപ്പിക്കുന്നു. BitNet ഇതിന് പകരം "1.58-ബിറ്റ്" കണക്കുകൂട്ടലുകൾ ഉപയോഗിക്കുന്നു, ഇത് ഓരോ വെയ്റ്റിനെയും (weight) –1, 0, അല്ലെങ്കിൽ +1 ആയി പരിമിതപ്പെടുത്തുന്നു. ഈ കുറവ് മോഡലിന്റെ വലിപ്പം ഗണ്യമായി കുറയ്ക്കുന്നു; 100 ബില്യൺ പാരാമീറ്ററുകളുള്ള ഒരു നെറ്റ്‌വർക്ക് പോലും ഒരു ലാപ്ടോപ്പ് ക്ലാസ് CPU-വിൽ പ്രവർത്തിപ്പിക്കാൻ സാധിക്കും. ഡെവലപ്പർമാർ BitNet ആർക്കിടെക്ചർ ഉപയോഗിച്ച് മോഡലുകൾ ആദ്യം മുതൽ തന്നെ പരിശീലിപ്പിക്കേണ്ടതുണ്ട്; ഇതൊരു ലളിതമായ കൺവേർഷൻ അല്ല.

റിപ്പോർട്ട് ചെയ്യപ്പെട്ട പ്രകടന മെച്ചങ്ങൾ

  • Throughput: ഒരു സിംഗിൾ CPU കോറിൽ സെക്കൻഡിൽ 5–7 ടോക്കണുകൾ.
  • Speed vs. llama.cpp: x86 പ്രോസസറുകളിൽ 2.37×-6.17× വേഗത കൂടുതൽ.
  • Energy use: ഒരേ ഹാർഡ്‌വെയറിൽ 82.2% വരെ കുറഞ്ഞ പവർ.
  • Memory: 16×-32× കുറഞ്ഞ RAM ആവശ്യകത.

കോഡ്ബേസിനൊപ്പം പുറത്തിറക്കിയ പ്രധാന മോഡലായ BitNet-b1.58-2B-4T-ൽ 2.4 ബില്യൺ പാരാമീറ്ററുകൾ അടങ്ങിയിരിക്കുന്നു. മൈക്രോസോഫ്റ്റ് ഈ സോഫ്റ്റ്‌വെയർ അനുമതി നൽകുന്ന MIT ലൈസൻസിന് കീഴിൽ വിതരണം ചെയ്യുന്നു, ഇത് ആർക്കും സ്വന്തം 1-ബിറ്റ് മോഡലുകൾ നിർമ്മിക്കാനും മാറ്റം വരുത്താനും പുനർവിതരണം ചെയ്യാനും അവസരം നൽകുന്നു.

എഡ്ജ്-ഫോർസ്റ്റ് ഉപയോഗക്രമങ്ങൾ (Edge-first use cases)

GPU ഇല്ലാതെ ഇൻഫറൻസ് നടത്തുന്നത് ഓഫ്‌ലൈൻ അല്ലെങ്കിൽ സ്വകാര്യതയ്ക്ക് മുൻഗണന നൽകുന്ന ആപ്ലിക്കേഷനുകൾക്ക് പുതിയ വാതിലുകൾ തുറക്കുന്നു. ചെറിയ IoT ഉപകരണങ്ങൾ, ഫീൽഡിൽ ഉപയോഗിക്കുന്ന ഡ്രോണുകൾ, ഇന്റർനെറ്റ് കണക്ഷൻ ഇല്ലാത്ത ലാപ്ടോപ്പുകൾ എന്നിവയ്ക്ക് പ്രാദേശികമായി ഭാഷാപരമായ കഴിവുകൾ ഉൾപ്പെടുത്താൻ സാധിക്കും. കുറഞ്ഞ ഊർജ്ജ ഉപഭോഗം ബാറ്ററി ഉപയോഗിച്ച് പ്രവർത്തിക്കുന്ന ഹാർഡ്‌വെയറുകൾക്കും അനുയോജ്യമാണ്.

പരിമിതികൾ എന്തൊക്കെയാണ്

ആദ്യം മുതൽ പരിശീലിപ്പിക്കുക എന്നതാണ് ഏറ്റവും വലിയ തടസ്സം. Llama പോലുള്ള നിലവിലുള്ള ഓപ്പൺ സോഴ്‌സ് മോഡലുകളെ BitNet ഫോർമാറ്റിലേക്ക് ലളിതമായി "ബിറ്റ്-ക്വാണ്ടൈസ്" (bit-quantized) ചെയ്യാൻ കഴിയില്ല; അവ മൂന്ന് മൂലകളുള്ള വെയ്റ്റ് സ്കീം ഉപയോഗിച്ച് വീണ്ടും നിർമ്മിക്കേണ്ടതുണ്ട്.

ആർക്കൊക്കെ പ്രയോജനം ലഭിക്കും, ആർക്കൊക്കെ മാറ്റമില്ലാതെ തുടരാം

  • സ്റ്റാർട്ടപ്പുകളും ഹോബിസ്റ്റുകളും: കുറഞ്ഞ ഹാർഡ്‌വെയർ ചിലവ് പരീക്ഷണങ്ങളും ഉൽപ്പന്ന പ്രോട്ടോടൈപ്പിംഗും വേഗത്തിലാക്കിയേക്കാം.
  • കർശനമായ ഡാറ്റാ-സോവറിന്റ്റി നയങ്ങളുള്ള സംരംഭങ്ങൾ: ഓൺ-പ്രെമിസ് ഇൻഫറൻസ് ഉപയോഗിക്കുന്നതിലൂടെ ഡാറ്റ ക്ലൗഡ് പ്രൊവൈഡർമാർക്ക് അയക്കുന്നത് ഒഴിവാക്കാം.
  • വൻകിട AI ലാബുകൾ: പരിശീലനത്തിനും ഉയർന്ന തോതിലുള്ള സർവീസിംഗിനും (high-throughput serving) അവർ GPU ഉപയോഗിക്കുന്നത് തുടരാൻ സാധ്യതയുണ്ട്, അവിടെ വേഗത ഇപ്പോഴും പ്രധാനമാണ്.

ഇനി ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ

  • കമ്മ്യൂണിറ്റി സ്വീകരണം: BitNet ഫോർമാറ്റിൽ പരിശീലിപ്പിച്ച മൂന്നാം കക്ഷി മോഡലുകളുടെ എണ്ണം ഈ ഇക്കോസിസ്റ്റം എത്ര വേഗത്തിൽ വളരുന്നു എന്ന് കാണിക്കും.
  • ടൂളിംഗ് ഇന്റഗ്രേഷൻ: ജനപ്രിയമായ ട്രെയിനിംഗ് പൈപ്പ്‌ലൈനുകളുമായും ഡിപ്ലോയ്‌മെന്റ് പ്ലാറ്റ്‌ഫോമുകളുമായും ഉള്ള പൊരുത്തം ഈ ഫ്രെയിംവർക്കിനെ കൂടുതൽ ഉപയോഗപ്രദമാക്കിയേക്കാം.
  • റിയൽ വേൾഡ് ബെഞ്ച്മാർക്കുകൾ: വിവിധ ഹാർഡ്‌വെയറുകളിൽ കൃത്യത, ലേറ്റൻസി, പവർ എന്നിവയുടെ സ്വതന്ത്രമായ അളവുകൾ ഈ അവകാശവാദങ്ങൾ ലാബിന് പുറത്തും ശരിയാണോ എന്ന് വെളിപ്പെടുത്തും.
  • കൂടുതൽ ക്വാണ്ടൈസേഷൻ ഗവേഷണങ്ങൾ: ഗുണനിലവാരം കുറയ്ക്കാതെ ഗവേഷകർ ബിറ്റ്-വിഡ്ത്ത് (bit-width) ഇനിയും കുറച്ചാൽ, CPU-മാത്രം ഉപയോഗിച്ചുള്ള പ്രവർത്തനം കൂടുതൽ യാഥാർത്ഥ്യമാകും.

ദൈനംദിന പ്രോസസറുകളിൽ വലിയ ഭാഷാ മോഡലുകൾ പ്രവർത്തിപ്പിക്കുന്നത് സാങ്കേതികമായി സാധ്യമാണെന്ന് BitNet തെളിയിക്കുന്നു, എന്നാൽ ഉയർന്ന പ്രകടനമുള്ള സാഹചര്യങ്ങളിൽ GPU-കളുടെ ആവശ്യകത ഇത് ഇല്ലാതാക്കുന്നില്ല. ഈ ഫ്രെയിംവർക്ക് കൂടുതൽ ഡെവലപ്പർമാർക്കായി AI സാങ്കേതികവിദ്യയെ ജനാധിപത്യവൽക്കരിച്ചേക്കാം, എന്നാൽ അത്യാധുനിക ഗവേഷണങ്ങളെ നയിക്കുന്ന കനത്ത കമ്പ്യൂട്ടേഷണൽ ജോലികൾ വരുംകാലങ്ങളിൽ GPU-കളെ കേന്ദ്രീകരിച്ചുള്ളതായി തന്നെ തുടരാൻ സാധ്യതയുണ്ട്.