GGUF ലാംഗ്വേജ് മോഡലുകൾക്കായുള്ള ഒരു പ്യുവർ-.NET ഇൻഫറൻസ് എൻജിനായ TensorSharp ഇപ്പോൾ പൊതുവായി ലഭ്യമാണ്. ഇത് ഒരു പൈത്തൺ (Python) സെർവർ പ്രവർത്തിപ്പിക്കാതെ തന്നെ .NET ഡെവലപ്പർമാർക്ക് ലാർജ്-ലാംഗ്വേജ്-മോഡൽ (LLM) ഇൻഫറൻസ് നടത്താൻ സഹായിക്കുന്നു. വിൻഡോസ് (Windows), macOS, ലിനക്സ് (Linux) എന്നിവയിൽ പ്രവർത്തിക്കുമ്പോൾ വ്യാപകമായി ഉപയോഗിക്കുന്ന llama.cpp-ക്ക് സമാനമായ പ്രകടനം കാഴ്ചവെക്കാൻ ഈ പ്രോജക്റ്റിന് കഴിയുമെന്ന് അവകാശപ്പെടുന്നു. കൂടാതെ ഇത് CPU, CUDA, MLX, Metal, Vulkan ബാക്ക്-എൻഡുകളെയും പിന്തുണയ്ക്കുന്നു.

എന്തുകൊണ്ടാണ് നേറ്റീവ് .NET പ്രധാനമാകുന്നത്

മിക്ക LLM റൺടൈമുകളും C/C++ ലാണ് എഴുതിയിരിക്കുന്നത് അല്ലെങ്കിൽ ഒരു പ്രത്യേക പ്രോസസ്സ് ഉപയോഗിക്കുന്ന പൈത്തൺ റാപ്പറുകളെ (Python wrappers) ആശ്രയിക്കുന്നു. അവരുടെ സേവനങ്ങൾ നിലവിൽ .NET-ൽ പ്രവർത്തിക്കുന്ന ടീമുകളെ സംബന്ധിച്ചിടത്തോളം, ഈ അധിക ലെയർ കണ്ടെയ്‌നറുകൾ (containers), ഇന്റർ-പ്രോസസ്സ് കമ്മ്യൂണിക്കേഷൻ എന്നിവ ആവശ്യമായി വരികയും സുരക്ഷാ ഭീഷണി (attack surface) വർദ്ധിപ്പിക്കുകയും ചെയ്യുന്നു. ഇൻഫറൻസ് ഒരേ റൺടൈമിനുള്ളിൽ തന്നെ നിലനിർത്തുന്നത് വഴി ഡെവലപ്പർമാർക്ക് CI/CD പൈപ്പ്‌ലൈനുകൾ ലഘൂകരിക്കാനും, നെറ്റ്‌വർക്ക് ഹോപ്പുകളിൽ നിന്നുള്ള ലേറ്റൻസി (latency) കുറയ്ക്കാനും, ഒരു പൈത്തൺ എൻവയോൺമെന്റ് പരിപാലിക്കുന്നതിനുള്ള ചിലവ് കുറയ്ക്കാനും സാധിക്കുന്നു.

TensorSharp എങ്ങനെയാണ് നിർമ്മിച്ചിരിക്കുന്നത്

llama.cpp വീണ്ടും ഉപയോഗിക്കുന്നതിന് പകരം ഇതിന്റെ നിർമ്മാതാവ് എൻജിൻ പൂജ്യത്തിൽ നിന്ന് തന്നെ എഴുതി തയ്യാറാക്കിയതാണ്. ഇതിന്റെ CPU ബാക്ക്-എൻഡ് 100% C# ആയതിനാൽ, വിൻഡോസ്, ലിനക്സ് എന്നിവയിൽ മറ്റ് നേറ്റീവ് ഡിപെൻഡൻസികൾ ഇല്ലാതെ തന്നെ പ്രവർത്തിപ്പിക്കാം. നിലവിലുള്ള ഗ്രാഫിക്സ് API-കളിൽ നിന്നാണ് GPU പിന്തുണ ലഭിക്കുന്നത്: Nvidia-യ്ക്ക് വേണ്ടി CUDA, Apple silicon-ന് വേണ്ടി MLX, macOS GPU-കൾക്കായി Metal, കൂടാതെ ക്രോസ്-പ്ലാറ്റ്‌ഫോം ഹാർഡ്‌വെയറുകൾക്കായി Vulkan എന്നിവയാണവ. Qwen, Gemma തുടങ്ങിയ മോഡലുകൾക്കായി paged key-value (KV) cache, continuous batching, speculative decoding തുടങ്ങിയ ആധുനിക സാങ്കേതിക വിദ്യകൾ ഇതിന്റെ കാതലായ ഭാഗങ്ങളിൽ ഉൾപ്പെടുത്തിയിട്ടുണ്ട്.

ഡെവലപ്പർമാർക്ക് ലഭിക്കുന്ന സവിശേഷതകൾ

  • GGUF മോഡൽ കംപാറ്റിബിലിറ്റി – സമീപകാലത്തെ ഓപ്പൺ സോഴ്സ് LLM റിലീസുകളിൽ ഉപയോഗിക്കുന്ന അതേ ഫോർമാറ്റ്.
  • ക്രോസ്-പ്ലാറ്റ്‌ഫോം പ്രവർത്തനം – കോഡിൽ മാറ്റം വരുത്താതെ തന്നെ വിൻഡോസ്, macOS, ലിനക്സ് എന്നിവയിൽ പ്രവർത്തിക്കുന്നു.
  • OpenAI, Ollama എന്നിവയുമായി പൊരുത്തപ്പെടുന്ന HTTP API-കൾ – നിലവിലുള്ള ക്ലയന്റ് ലൈബ്രറികൾക്ക് പകരമായി ഇവ ഉപയോഗിക്കാം.
  • മൾട്ടിമോഡൽ ഹാൻഡ്‌ലിംഗ് – പ്രോംപ്റ്റിന്റെ ഭാഗമായി ചിത്രങ്ങൾ, വീഡിയോ, ഓഡിയോ, PDF എന്നിവ ഉൾപ്പെടുത്താൻ സാധിക്കും.
  • ടൂൾ കോളിംഗും സ്ട്രക്ചേർഡ് ഔട്ട്‌പുട്ടും – ചാറ്റ് അധിഷ്ഠിത ഏജന്റുകളിൽ സാധാരണയായി കാണപ്പെടുന്ന ഫംഗ്ഷൻ-കോളിംഗ് പാറ്റേണുകളെ ഇത് പിന്തുണയ്ക്കുന്നു.

llama.cpp-യുമായുള്ള പ്രകടനം താരതമ്യം ചെയ്യുമ്പോൾ

മെയിന്റൈനർ പങ്കുവെച്ച ബെഞ്ച്മാർക്കുകൾ വ്യത്യസ്ത ഫലങ്ങളാണ് കാണിക്കുന്നത്:

  • Prefill, time-to-first-token (TTFT) – ആദ്യ പ്രതികരണത്തിന് കുറഞ്ഞ ലേറ്റൻസി നൽകിക്കൊണ്ട് TensorSharp പലപ്പോഴും llama.cpp-യെ മറികടക്കുന്നു.
  • Decode throughput – സാധാരണയായി llama.cpp-ക്ക് സമാനമോ അല്ലെങ്കിൽ നേരിയ തോതിൽ കുറവോ ആണ്.

ലേറ്റൻസിക്ക് ഏറ്റവും കൂടുതൽ പ്രാധാന്യമുള്ള ഘട്ടങ്ങളിൽ വേഗത കുറയ്ക്കാതെ തന്നെ, ടോക്കൺ-പെർ-സെക്കൻഡ് (token-per-second) ഔട്ട്‌പുട്ടിലും മികച്ച പ്രകടനം കാഴ്ചവെക്കാൻ പ്യുവർ C# ഇംപ്ലിമെന്റേഷന് കഴിയുന്നു എന്നാണ് ഈ കണക്കുകൾ സൂചിപ്പിക്കുന്നത്.

ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ

  • യഥാർത്ഥ ലോകത്തെ പ്രകടനം മോഡൽ ആർക്കിടെക്ചർ, ഹാർഡ്‌വെയർ കോൺഫിഗറേഷൻ, മെമ്മറി ലേഔട്ട് എന്നിവ അനുസരിച്ച് വ്യത്യാസപ്പെടാം; അതിനാൽ പ്രൊഡക്ഷനിൽ ഉപയോഗിക്കുന്നതിന് മുമ്പ് ഡെവലപ്പർമാർ സ്വന്തമായി ബെഞ്ച്മാർക്കുകൾ നടത്തേണ്ടതാണ്.

ഇനി എന്താണ് പ്രതീക്ഷിക്കേണ്ടത്

ടെലിഗ്രാമിലെ (Telegram) പ്രോജക്റ്റ് ഡിസ്കഷൻ ചാനലിലൂടെ പുതിയ ഉപയോക്താക്കൾക്ക് തങ്ങളുടെ ഫലങ്ങൾ പങ്കുവെക്കാനും പുതിയ ഫീച്ചറുകൾ ആവശ്യപ്പെടാനും സാധിക്കും.

ചുരുക്കത്തിൽ: ഒരു പ്രത്യേക പൈത്തൺ സ്റ്റാക്ക് ഇല്ലാതെ തന്നെ LLM ഇൻഫറൻസ് നേരിട്ട് ആപ്ലിക്കേഷനുകളിൽ ഉൾപ്പെടുത്താൻ TensorSharp .NET ഡെവലപ്പർമാരെ സഹായിക്കുന്നു. കൂടാതെ llama.cpp-ക്ക് സമാനമായ വേഗതയും ഇത് നൽകുന്നു. പ്രൊഡക്ഷൻ ടീമുകൾ തങ്ങളുടെ ഹാർഡ്‌വെയറിൽ പ്രകടനം പരിശോധിക്കേണ്ടതുണ്ടെങ്കിലും, .NET ഇക്കോസിസ്റ്റത്തിനുള്ളിൽ നേറ്റീവ് AI സേവനങ്ങൾക്കായുള്ള വ്യക്തമായ പാത ഈ എൻജിൻ തുറന്നുതരുന്നു.