VIDRAFT പുറത്തിറക്കിയ 35 ബില്യൺ പാരാമീറ്ററുകളുള്ള POCKET-35B എന്ന ലാംഗ്വേജ് മോഡൽ, ഇപ്പോൾ ഒരു CPU മാത്രമുള്ള ലാപ്ടോപ്പിലും പ്രവർത്തിപ്പിക്കാൻ സാധിക്കും. ഈ മോഡലിന്റെ GGUF ഫോർമാറ്റിലുള്ള വെയ്റ്റുകൾ (weights) llama.cpp അല്ലെങ്കിൽ Ollama-യിലേക്ക് നേരിട്ട് ലോഡ് ചെയ്യാവുന്നതാണ്, അതിനാൽ GPU ബജറ്റ് ഇല്ലാത്ത ടീമുകൾക്ക് ഉടൻ തന്നെ പരീക്ഷണങ്ങൾ തുടങ്ങാം. ലോഞ്ച് ചെയ്ത് ഏഴ് ആഴ്ചകൾക്കുള്ളിൽ തന്നെ Hugging Face-ൽ പത്ത് ലക്ഷത്തിലധികം ഡൗൺലോഡുകൾ ഈ മോഡൽ നേടി, ലോകമെമ്പാടുമുള്ള എല്ലാ GGUF ഡൗൺലോഡുകളിലും 13-ാം സ്ഥാനത്താണ് ഇത് എത്തിയിരിക്കുന്നത്.

എന്തുകൊണ്ടാണ് ഇപ്പോൾ ഒരു CPU-മാത്രം ഉപയോഗിക്കുന്ന LLM പ്രധാനമാകുന്നത്

ഉപഭോക്താക്കളുടെ ഇമെയിലുകൾ, ഇന്റേണൽ ടിക്കറ്റുകൾ, കോഡ് സ്നിപ്പറ്റുകൾ തുടങ്ങിയ സ്വകാര്യ വിവരങ്ങൾ സ്വന്തം സെർവറുകളിൽ (on-premises) സൂക്ഷിക്കേണ്ട കമ്പനികൾക്ക് പലപ്പോഴും ഡെഡിക്കേറ്റഡ് ഗ്രാഫിക്സ് കാർഡുകൾ വാങ്ങാനുള്ള സാമ്പത്തിക ശേഷി ഉണ്ടാകാറില്ല. അടുത്ത കാലം വരെ, ഡാറ്റ ഒരു ക്ലൗഡ് ഹോസ്റ്റഡ് API-ലേക്ക് അയക്കുക എന്നത് മാത്രമായിരുന്നു പ്രായോഗികമായ ഏക മാർഗ്ഗം; ഇത് സ്വകാര്യത നഷ്ടപ്പെടുത്തുന്നതിനും ആവർത്തിച്ചുള്ള ചിലവുകൾക്കും കാരണമാകുന്നു. POCKET-35B ഇതിനൊരു ഇടനില മാർഗ്ഗം വാഗ്ദാനം ചെയ്യുന്നു: സങ്കീർണ്ണമായ പ്രോംപ്റ്റുകൾ കൈകാര്യം ചെയ്യാൻ ആവശ്യമായ വലിപ്പമുള്ളതും എന്നാൽ ഒരു സാധാരണ ഓഫീസ് ലാപ്ടോപ്പിന്റെയോ മിനി-പിസിയുടെയോ മെമ്മറി പരിധിക്കുള്ളിൽ ഒതുങ്ങുന്നതുമായ ഒരു മോഡലാണിത്.

എങ്ങനെയാണ് ഈ മോഡൽ ഒരു ലാപ്ടോപ്പിൽ ഒതുങ്ങുന്നത്

  • GGUF ഫോർമാറ്റ് – ക്വാണ്ടൈസ്ഡ് വെയ്റ്റുകൾ (quantized weights) സംഭരിക്കുന്ന ഒരു ബൈനറി കണ്ടെയ്നർ.
  • കമ്പാറ്റിബിലിറ്റി (Compatibility) – GGUF ഫയലുകൾ വായിക്കാനും CPU-കളിൽ ഇൻഫറൻസ് (inference) നടത്താനും സഹായിക്കുന്ന റൺടൈമുകൾ llama.cpp, Ollama എന്നിവയിൽ ഉൾപ്പെടുന്നു. ചില ലെയറുകൾ ഓഫ്‌ലോഡ് ചെയ്യാൻ ഒരു ഇന്റഗ്രേറ്റഡ് GPU ഉപയോഗിക്കാമെങ്കിലും അത് നിർബന്ധമല്ല.
  • RAM പരിശോധന – GGUF ഫയലിന്റെ വലിപ്പമാണ് നിങ്ങൾക്ക് ആവശ്യമായ കുറഞ്ഞபட்ச RAM അളവ്. ഉദാഹരണത്തിന്, ഫയൽ വലിപ്പം ഏതാനും ഗിഗാബൈറ്റുകൾ ആണെങ്കിൽ, ഡൗൺലോഡ് തുടങ്ങുന്നതിന് മുമ്പ് തന്നെ അത്രയും ഫ്രീ മെമ്മറി ഉള്ള ഒരു മെഷീൻ ആവശ്യമാണ്.

നിങ്ങളുടെ ലാപ്ടോപ്പിൽ POCKET-35B പ്രവർത്തിപ്പിക്കാനുള്ള ഘട്ടങ്ങൾ

  1. മെമ്മറി പരിശോധിക്കുക – നിങ്ങളുടെ സിസ്റ്റത്തിന്റെ ടാസ്ക് മാനേജർ തുറന്ന് ആകെ RAM എത്രയാണെന്ന് നോക്കുക, അത് Hugging Face പേജിൽ നൽകിയിരിക്കുന്ന GGUF ഫയൽ വലിപ്പവുമായി താരതമ്യം ചെയ്യുക.
  2. ശരിയായ ക്വാണ്ടൈസേഷൻ (quantization) തിരഞ്ഞെടുക്കുക – Q4 വേർഷനിൽ നിന്ന് തുടങ്ങുക; മിക്ക ലാപ്ടോപ്പുകളിലും വലിപ്പവും വേഗതയും തമ്മിലുള്ള സന്തുലിതാവസ്ഥ ഇത് നൽകുന്നു.
  3. llama.cpp അല്ലെങ്കിൽ Ollama വഴി ഡൗൺലോഡ് ചെയ്യുക – ഈ രണ്ട് ടൂളുകൾക്കും Hugging Face-ൽ നിന്ന് നേരിട്ട് മോഡൽ ഡൗൺലോഡ് ചെയ്യാനും ചെക്ക്സം (checksum) വെരിഫിക്കേഷൻ സ്വയമേവ ചെയ്യാനും സാധിക്കും.
  4. ഒരു ചെറിയ പരിശോധന നടത്തുക – ലോഡിംഗ് വിജയകരമാണോ എന്ന് ഉറപ്പാക്കാൻ ഒരു ലളിതമായ “Hello, world” പ്രോംപ്റ്റ് ഉപയോഗിച്ച് റൺടൈം പ്രവർത്തിപ്പിക്കുക.
  5. യഥാർത്ഥമായ ഒരു ബെഞ്ച്മാർക്ക് സ്യൂട്ട് തയ്യാറാക്കുക – നിങ്ങളുടെ പ്രൊഡക്ഷൻ വർക്ക്ലോഡിന് സമാനമായ 30-50 ടാസ്ക്കുകൾ (ഉദാഹരണത്തിന്: ടിക്കറ്റ് കാറ്റഗറികൾ തരംതിരിക്കുക, ഇമെയിൽ മറുപടികൾ തയ്യാറാക്കുക) ശേഖരിക്കുക. അവ മോഡലിലൂടെ പ്രവർത്തിപ്പിക്കുകയും ലേറ്റൻസിയും (latency) ടോക്കൺ ഔട്ട്പുട്ട് ഗുണനിലവാരവും രേഖപ്പെടുത്തുകയും ചെയ്യുക.
  6. ഭാഷാ പരിരക്ഷ പരിശോധിക്കുക – POCKET-35B-യുടെ ഡോക്യുമെന്റേഷനിൽ ഭാഷകളുടെ പട്ടിക നൽകിയിട്ടില്ല. നിങ്ങൾക്ക് വിയറ്റ്നാമീസ് അല്ലെങ്കിൽ മറ്റ് ഇംഗ്ലേതര ഭാഷകൾ ആവശ്യമുണ്ടെങ്കിൽ, ചില വാചകങ്ങൾ നൽകി മോഡൽ വ്യക്തമായ ഔട്ട്പുട്ട് നൽകുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക.
  7. യഥാർത്ഥ ലേറ്റൻസി അളക്കുക – നിങ്ങളുടെ ഹാർഡ്‌വെയറിൽ ഓരോ പ്രോംപ്റ്റിനും എടുക്കുന്ന സമയം രേഖപ്പെടുത്തുക; വ്യത്യസ്ത CPU അല്ലെങ്കിൽ RAM ബാൻഡ്‌വിഡ്ത്ത് ഉപയോഗിക്കുന്ന മറ്റ് ഉപയോക്താക്കൾ നൽകുന്ന ബെഞ്ച്മാർക്ക് നമ്പറുകളെ മാത്രം ആശ്രയിക്കരുത്.

ഡൗൺലോഡ് കണക്കുകൾ വെളിപ്പെടുത്താത്ത കാര്യങ്ങൾ

പത്ത് ലക്ഷം ഡൗൺലോഡുകൾ എന്നത് കമ്മ്യൂണിറ്റിയുടെ വലിയ താൽപ്പര്യത്തെയാണ് സൂചിപ്പിക്കുന്നത്, അല്ലാതെ മോഡലിന്റെ മികച്ച പ്രകടനം ഉറപ്പുനൽകുന്നില്ല. മോഡലിന്റെ റീസണിംഗ് ശേഷി (reasoning ability), കോഡ് ജനറേഷൻ കഴിവ്, ഇൻസ്ട്രക്ഷൻ ഫോളോയിംഗ് എന്നിവ സ്വതന്ത്രമായി പരിശോധിക്കപ്പെട്ടിട്ടില്ല. VIDRAFT മോഡലിന്റെ ആർക്കിടെക്ചർ വിവരങ്ങളോ ട്രെയിനിംഗ് ഡാറ്റാ സ്രോതസ്സുകളോ വെളിപ്പെടുത്തിയിട്ടില്ല, ഇത് പ്രൊഡക്ഷൻ ആവശ്യങ്ങൾക്കായി ഉപയോഗിക്കുന്നത് അപകടസാധ്യതയുള്ളതാക്കുന്നു.

അപകടസാധ്യതകളും എതിർവാദങ്ങളും

  • വ്യക്തമല്ലാത്ത ഗുണനിലവാരം – പ്രസിദ്ധീകരിച്ച മൂല്യനിർണ്ണയ മാനദണ്ഡങ്ങൾ (evaluation metrics) ഇല്ലാത്തതിനാൽ, മറ്റ് ഓപ്പൺ സോഴ്സ് ബദലുകളുടെ കൃത്യത POCKET-35B-യ്ക്കുണ്ടോ എന്ന് നിങ്ങൾക്ക് ഉറപ്പിക്കാൻ കഴിയില്ല.
  • പ്രൊഡക്ഷൻ നിലവാരത്തിലുള്ള അനിശ്ചിതത്വങ്ങൾ – ആർക്കിടെക്ചറിലെ സുതാര്യതയുടെ അഭാവം, സങ്കീർണ്ണമായ പ്രോംപ്റ്റുകൾക്കോ (adversarial prompts) അപ്രതീക്ഷിത ഇൻപുട്ടുകൾക്കോ (edge-case inputs) എങ്ങനെ പ്രതികരിക്കുമെന്ന് പ്രവചിക്കുന്നത് പ്രയാസകരമാക്കുന്നു.

ചുരുക്കത്തിൽ

നിങ്ങളുടെ ടീമിന് ഇന്ന് തന്നെ ഒരു 35 B-പാരാമീറ്റർ LLM പരീക്ഷിക്കണമെന്നുണ്ടാവുകയും ഒരു GPU വാങ്ങാൻ സാമ്പത്തിക ശേഷി ഇല്ലാതിരിക്കുകയും ചെയ്യുന്നുണ്ടെങ്കിൽ, POCKET-35B ഒരു മികച്ചതും കുറഞ്ഞ ചിലവുള്ളതുമായ മാർഗ്ഗമാണ്. GGUF ഫോർമാറ്റ് ഉപയോഗിച്ച് ഒരു സാധാരണ ലാപ്ടോപ്പിൽ ഈ മോഡൽ പ്രവർത്തിപ്പിക്കാം, കൂടാതെ ഓപ്പൺ സോഴ്സ് റൺടൈമുകൾ ഉപയോഗിച്ച് ഇത് എളുപ്പത്തിൽ സെറ്റപ്പ് ചെയ്യാനും സാധിക്കും. എന്നിരുന്നാലും, ഈ മോഡലിനെ ഒരു പരീക്ഷണാടിസ്ഥാനത്തിൽ മാത്രം കാണുക: മെമ്മറി ആവശ്യകതകൾ പരിശോധിക്കുക, യഥാർത്ഥ ടാസ്ക്കുകൾ ഉപയോഗിച്ച് ബെഞ്ച്മാർക്ക് ചെയ്യുക, പ്രൊഡക്ഷൻ പൈപ്പ്‌ലൈനുകളിൽ ഉൾപ്പെടുത്തുന്നതിന് മുമ്പ് ഭാഷാ കൈകാര്യം ചെയ്യൽ ഉറപ്പാക്കുക. കമ്മ്യൂണിറ്റി ഡാറ്റ ലഭ്യമാകുന്നതിനനുസരിച്ചും VIDRAFT കൂടുതൽ വിവരങ്ങൾ പുറത്തുവിടുന്നതിനനുസരിച്ചും ഇതിന്റെ അപകടസാധ്യതകൾ കൂടുതൽ വ്യക്തമാകും—എങ്കിലും, നിലവിൽ ഒരു ലാപ്ടോപ്പിൽ തന്നെ ഒരു 35 B LLM പ്രവർത്തിപ്പിക്കാൻ സാധിക്കും, പക്ഷേ പ്രതീക്ഷകൾ മിതമായിരിക്കണം.