ഒരു സിംഗിൾ RTX 5090-ൽ പ്രവർത്തിപ്പിച്ച അഞ്ച് ലോക്കൽ LLM ഏജന്റുകളുടെ ബെഞ്ച്മാർക്ക് പരിശോധനയിൽ, 35-ബില്യൺ പാരാമീറ്ററുകളുള്ള ഒരു മിക്ചർ-ഓഫ്-എക്സ്പെർട്ട്സ് (MoE) മോഡൽ യഥാർത്ഥ കോഡിംഗ് ടാസ്കുകളിൽ മറ്റ് മോഡലുകളെക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവെച്ചു. ക്ലൗഡ് API-കൾ ഉപയോഗിക്കാതെ നിലവിലുള്ള ഒരു അഡ്മിൻ പാനലിലേക്ക് ഒരു Tag Manager ചേർക്കുക എന്നതായിരുന്നു ഈ പരീക്ഷണം. ഇതിൽ Qwen 3.6 35B-A3B ആണ് വ്യക്തമായ വിജയിയായി തിരഞ്ഞെടുക്കപ്പെട്ടത്.

ഈ പരീക്ഷണം പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്

വ്യക്തിഗത ഹാർഡ്‌വെയറിൽ ലാർജ് ലാംഗ്വേജ് മോഡലുകൾ പ്രവർത്തിപ്പിക്കുന്നത് വഴി ഡെവലപ്പർമാർക്ക് API ഫീസുകളിൽ നിന്നും ഡാറ്റാ പ്രൈവസി ആശങ്കകളിൽ നിന്നും ഒഴിവാകാൻ സാധിക്കും. എന്നിരുന്നാലും, "ലോക്കൽ ഏജന്റുകൾ" എന്നത് ഇപ്പോഴും ഒരു വാഗ്ദാനം മാത്രമായി തുടരുന്നു: മനുഷ്യസഹായമില്ലാതെ ഫയലുകൾ എഡിറ്റ് ചെയ്യാനും, കമാൻഡ്-ലൈൻ ടൂളുകൾ ഉപയോഗിക്കാനും, പ്രൊഡക്ഷൻ റെഡി ആയ കോഡ് തയ്യാറാക്കാനും ഇവയ്ക്ക് യഥാർത്ഥത്തിൽ സാധിക്കുമോ? ക്ലൗഡ് സേവനങ്ങളില്ലാതെ നടത്തിയ ഈ നേരിട്ടുള്ള താരതമ്യം, ഈ സാങ്കേതികവിദ്യ നിലവിൽ ഏത് ഘട്ടത്തിലാണെന്നതിനെക്കുറിച്ച് ഡെവലപ്പർമാർക്ക് വ്യക്തമായ ധാരണ നൽകുന്നു.

ഹാർഡ്‌വെയറും ടാസ്ക്കും

അഞ്ച് മോഡലുകളും ഒരേ വർക്ക്സ്റ്റേഷനിലാണ് പ്രവർത്തിച്ചത്: ഒരു RTX 5090 GPU (സാധാരണയായി ഉപയോഗിക്കുന്ന ഒരു ഹൈ-എൻഡ് കൺസ്യൂമർ കാർഡ്), കൂടാതെ മറ്റ് ബാഹ്യ സേവനങ്ങളുമില്ല. ടാസ്ക് ബോധപൂർവ്വം ലളിതവും എന്നാൽ പ്രാധാന്യമുള്ളതുമായിരുന്നു – നിലവിലുള്ള ഒരു അഡ്മിൻ സെക്ഷനിലേക്ക് ഒരു Tag Manager കമ്പോണന്റ് ചേർക്കുക. ശരിയായ സോഴ്സ് ഫയലുകൾ കണ്ടെത്തുക, അവ എഡിറ്റ് ചെയ്യുക, പുതിയ ഫീച്ചർ നിലവിലുള്ള പ്രവർത്തനങ്ങളെ തടസ്സപ്പെടുത്താതെ തന്നെ സംയോജിപ്പിക്കുന്നുണ്ടെന്ന് ഉറപ്പുവരുത്തുക എന്നിവയായിരുന്നു വിജയത്തിനായി മോഡൽ ചെയ്യേണ്ടിയിരുന്നത്.

മോഡൽ പ്രകടനം

  • Qwen 3.6 35B-A3B (MoE) – സ്വയം പ്രവർത്തിച്ച് ജോലി പൂർത്തിയാക്കി, ആവശ്യപ്പെടാത്ത കാര്യക്ഷമമായ മെച്ചപ്പെടുത്തലുകൾ വരുത്തി, പരീക്ഷണം കഴിഞ്ഞ് പ്രത്യേക പാച്ചുകൾ (patches) ഒന്നും തന്നെ ആവശ്യമില്ലായിരുന്നു.
  • Qwen 3.6 27B (dense) – ടാസ്ക് പൂർത്തിയാക്കിയെങ്കിലും, ഏകദേശം ഇരട്ടി ഇന്ററാക്ഷൻ സ്റ്റെപ്പുകൾ എടുത്തു, ഇടയ്ക്കിടെ നിർദ്ദേശങ്ങൾ തെറ്റായി വ്യാഖ്യാനിക്കുകയും ചെയ്തു.
  • GLM-4.7-Flash (dense) – പ്രവർത്തിക്കുന്ന രീതിയിൽ കോഡ് തയ്യാറാക്കിയെങ്കിലും, തെറ്റായ ഫയൽ മാച്ചിംഗ് പാറ്റേണുകൾ ഉപയോഗിക്കുകയും സെക്യൂരിറ്റി ചെക്കുകൾ ഒഴിവാക്കുകയും ചെയ്തതിനാൽ കോഡ് സുരക്ഷിതമല്ലായിരുന്നു.
  • Qwythos-9B – യാതൊരു യഥാർത്ഥ ടൂളുകളും പ്രവർത്തിപ്പിച്ചില്ല; ഈ പരാജയം മോഡൽ കാരണമാകാം അല്ലെങ്കിൽ ലോക്കൽ സെറ്റപ്പ് കാരണമാകാം, എന്നാൽ പരീക്ഷണം കൊണ്ട് കൃത്യമായ കാരണം കണ്ടെത്താനായില്ല.
  • Nemotron-3-Nano (hybrid) – ഒരു ലൂപ്പിൽ കുടുങ്ങിപ്പോയി; നേരത്തെ കണ്ടെത്തിയ ഒരു ഫോൾഡർ തന്നെ വീണ്ടും വീണ്ടും തിരയാൻ 40 തവണ ശ്രമിച്ചുകൊണ്ട് ഒരേ സ്ഥലത്ത് തന്നെ തുടരുകയും മുന്നോട്ട് നീങ്ങാൻ കഴിയാതെ വരികയും ചെയ്തു.

ഫലങ്ങൾ എന്ത് വെളിപ്പെടുത്തുന്നു

ആർക്കിടെക്ചർ ഒരു വിശ്വസനീയമായ സൂചകമല്ല

അതിന്റെ പാരാമീറ്ററുകളെ ഒന്നിലധികം എക്സ്പെർട്ട് സബ്-നെറ്റ്‌വർക്കുകളായി വിഭജിക്കുന്ന MoE മോഡൽ വൻ വിജയം നേടിയപ്പോൾ, ഡെൻസ് (dense), ഹൈബ്രിഡ് (hybrid) മോഡലുകൾ വിജയത്തിനും പരാജയത്തിനും ഇടയിലായിരുന്നു. കേവലം ആർക്കിടെക്ചർ തിരഞ്ഞെടുക്കുന്നത് കൊണ്ട് മാത്രം ടൂളുകൾ ഉപയോഗിക്കാനുള്ള കഴിവ് ഉറപ്പാക്കാൻ കഴിയില്ലെന്ന് ഇത് സൂചിപ്പിക്കുന്നു.

ടൂൾ ഉപയോഗം ഇപ്പോഴും ഒരു വലിയ വെല്ലുവിളിയാണ്

പരീക്ഷണത്തിനായി നൽകിയിരുന്ന സ്ക്രീൻഷോട്ട് ടൂൾ അഞ്ച് ഏജന്റുകളിൽ ആരും ഉപയോഗിച്ചില്ല. ഫയൽ പേരുകൾ ഊഹിച്ചോ അല്ലെങ്കിൽ പരോക്ഷമായ വഴികൾ പരീക്ഷിച്ചോ എല്ലാവരും സ്വന്തം നിലയിൽ പ്രവർത്തിക്കാൻ ശ്രമിച്ചു. "കോഡ് തയ്യാറാക്കാൻ കഴിയും" എന്ന അവസ്ഥയിൽ നിന്നും "ബാഹ്യ ടൂളുകളെ നിയന്ത്രിക്കാൻ കഴിയും" എന്ന അവസ്ഥയിലേക്കുള്ള ദൂരം ഇപ്പോഴും വളരെ വലുതാണ്.

ലോക്കലായി പ്രവർത്തിപ്പിക്കുക എന്നാൽ മോഡൽ മാത്രമല്ല, സ്റ്റാക്കിനെ (stack) ഡീബഗ് ചെയ്യുക എന്നാണ് അർത്ഥം

പരീക്ഷണം തുടങ്ങുന്നതിന് മുമ്പ് തന്നെ രണ്ട് മോഡലുകളുടെ പ്രോംപ്റ്റ് ടെംപ്ലേറ്റുകളിൽ മാറ്റങ്ങൾ വരുത്തേണ്ടി വന്നു. മോഡലിലെ ബഗുകൾ പരിഹരിക്കാൻ ചെലവഴിച്ച സമയം യഥാർത്ഥ Tag Manager കോഡ് എഴുതാൻ എടുത്തതിനേക്കാൾ കൂടുതലായിരുന്നു. നിലവിലെ ലോക്കൽ ഡിപ്ലോയ്മെന്റുകൾ എത്രത്തോളം ദുർബലമാണെന്ന് ഇത് വ്യക്തമാക്കുന്നു.

ഒരു മുന്നറിയിപ്പ്

ഈ ബെഞ്ച്മാർക്ക് ഒരു പ്രത്യേക ഹാർഡ്‌വെയർ കോൺഫിഗറേഷനെയും, ഒരു കോഡിംഗ് സാഹചര്യത്തെയും, കുറച്ച് മോഡലുകളെയും മാത്രമാണ് പ്രതിനിധീകരിക്കുന്നത്. Qwen 3.6 35B-A3B നേരത്തെ നടന്ന ഒരു റൗണ്ടിൽ പരാജയപ്പെട്ടിരുന്നു; ആ പരാജയം ഒരു അവിചാരിത സംഭവമായിരുന്നു. അതിനാൽ ഈ ഫലങ്ങൾ സൂചനകൾ മാത്രമാണ്, അന്തിമമായ ഒന്നല്ല.

ഇനി ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ

ഭാവിയിലെ പരീക്ഷണങ്ങളിൽ കൂടുതൽ ടാസ്ക്കുകൾ ഉൾപ്പെടുത്തേണ്ടതും, വൈവിധ്യമാർന്ന ടൂൾചെയിനുകൾ ഉപയോഗിക്കേണ്ടതും, കൂടുതൽ ഹാർഡ്‌വെയറുകളിൽ പരീക്ഷിക്കേണ്ടതുമാണ്. MoE മോഡലുകൾ ഡെൻസ്, ഹൈബ്രിഡ് ഡിസൈനുകളെക്കാൾ സ്ഥിരമായി മികച്ച പ്രകടനം കാഴ്ചവെക്കുന്നുണ്ടോ എന്നും, മാനുവൽ ബഗ്-പാച്ചിംഗ് ഒഴിവാക്കാൻ കഴിയുന്ന വിശ്വസനീയമായ റാപ്പറുകൾ (wrappers) നിർമ്മിക്കാൻ ഡെവലപ്പർമാർക്ക് സാധിക്കുമോ എന്നും നിരീക്ഷകർ ശ്രദ്ധിക്കേണ്ടതുണ്ട്.

ചുരുക്കത്തിൽ: ഒരു 35B MoE മോഡലിന് ഇപ്പോൾ തന്നെ മികച്ച ഒരു ലോക്കൽ കോഡിംഗ് അസിസ്റ്റന്റായി പ്രവർത്തിക്കാൻ കഴിയും, എന്നാൽ ടൂൾ ഇന്റഗ്രേഷൻ, പ്രോംപ്റ്റ് എഞ്ചിനീയറിംഗ്, സ്റ്റേബിൾ റൺടൈമുകൾ തുടങ്ങിയ വിശാലമായ ഇക്കോസിസ്റ്റം ഇപ്പോഴും പിന്നിലാണ്. ഈ ഘടകങ്ങൾ ഒത്തുചേരുന്നത് വരെ, "പ്ലഗ്-ആൻഡ്-പ്ലേ" ലോക്കൽ ഏജന്റുകളെക്കുറിച്ചുള്ള പ്രതീക്ഷകൾ ഡെവലപ്പർമാർ നിയന്ത്രിക്കേണ്ടതാണ്.