AI doesn't have to live in the cloud. Over the last year, the most interesting shift in the field hasn't been a bigger m

AI എപ്പോഴും ക്ലൗഡിൽ തന്നെ ഇരിക്കണമെന്നില്ല. കഴിഞ്ഞ ഒരു വർഷത്തിനിടെ, ഈ മേഖലയിലുണ്ടായ ഏറ്റവും രസകരമായ മാറ്റം വലിയ മോഡലുകളോ ആകർഷകമായ ചാറ്റ്‌ബോട്ടുകളോ അല്ല. മറിച്ച്, കനത്ത വർക്ക്ലോഡുകൾ നിങ്ങളുടെ ഡെസ്കിന് താഴെയുള്ള സാധാരണ ഹാർഡ്‌വെയറുകളിലേക്ക് മാറുന്നതും, പ്രീമിയം API-കൾക്കായി പണം ചിലവഴിക്കുന്നത് പലപ്പോഴും അനാവശ്യമാണെന്ന തിരിച്ചറിവുമാണ്. മൂന്ന് സമീപകാല സംഭവവികാസങ്ങൾ ഇത് ഇപ്പോൾ പ്രായോഗികമാക്കുന്നു: ഔട്ട്‌പുട്ടിനെ ബാധിക്കാതെ ഇമേജ് ജനറേഷൻ മോഡലുകളുടെ വലിപ്പം കുറയ്ക്കുന്ന പുതിയ ക്വാണ്ടൈസേഷൻ എൻജിൻ (quantization engine), നിങ്ങളുടെ ഡാറ്റ നിങ്ങളുടെ മെഷീനിൽ തന്നെ സൂക്ഷിക്കുന്ന ഒരു ഡെസ്ക്ടോപ്പ് ഏജന്റ്, കൂടാതെ പല ടീമുകളും അവഗണിക്കുന്ന ലളിതമായ ഒരു ചിലവ് കുറയ്ക്കൽ തന്ത്രം.

നിങ്ങളുടെ കമ്പ്യൂട്ടറിൽ തന്നെ ക്വാണ്ടൈസ്ഡ് ഡിഫ്യൂഷൻ പ്രവർത്തിക്കുന്നു

Hugging Face, ഡിഫ്യൂഷൻ മോഡലുകൾക്കായി പ്രത്യേകം നിർമ്മിച്ച Nunchaku എന്ന 4-bit ക്വാണ്ടൈസേഷൻ രീതി പുറത്തിറക്കി. ഇത് പ്രശസ്തമായ Diffusers ലൈബ്രറിയുമായി നേരിട്ട് ബന്ധിപ്പിക്കാൻ സാധിക്കും, അതായത് നിങ്ങളുടെ നിലവിലുള്ള പൈപ്പ്‌ലൈനുകൾ പുതുതായി നിർമ്മിക്കാതെ തന്നെ ഇത് ഉപയോഗിക്കാം.

എന്താണ് യഥാർത്ഥത്തിൽ 4-bit ക്വാണ്ടൈസേഷൻ കൊണ്ട് അർത്ഥമാക്കുന്നത്? ലളിതമായി പറഞ്ഞാൽ, ഇത് ഒരു മോഡലിന്റെ വെയ്റ്റുകളുടെ (weights) സംഖ്യാപരമായ കൃത്യത (numerical precision) കുറയ്ക്കുന്നു. ഓരോ പാരാമീറ്ററും മുഴുവൻ 32-bit അല്ലെങ്കിൽ 16-bit കൃത്യതയോടെ സൂക്ഷിക്കുന്നതിന് പകരം, Nunchaku ഓരോ വെയ്റ്റിനെയും നാല് ബിറ്റുകളിലേക്ക് ചുരുക്കുന്നു. മോഡൽ ഒറിജിനൽ ഡിസ്ക് സ്പേസിന്റെ ഒരു ചെറിയ ഭാഗം മാത്രമേ ഉപയോഗിക്കുന്നുള്ളൂ, അതിലുപരിയായി, ലോഡ് ചെയ്തുകഴിഞ്ഞാൽ ഇത് വളരെ കുറഞ്ഞ VRAM മാത്രമേ ആവശ്യപ്പെടുന്നുള്ളൂ. 8 GB അല്ലെങ്കിൽ 12 GB VRAM ഉള്ള കൺസ്യൂമർ GPU ഉപയോഗിക്കുന്നവർക്ക്, ഒരു പ്രോഗ്രസ് ബാർ സാവധാനം നീങ്ങുന്നത് നോക്കി ഇരിക്കുന്നതിനും യഥാർത്ഥത്തിൽ ഒരു ചിത്രം വേഗത്തിൽ നിർമ്മിക്കുന്നതിനും ഇടയിലുള്ള വ്യത്യാസമാണിത്.

ഇതിന്റെ പ്രായോഗികമായ ഫലം വളരെ വലുതാണ്. മുമ്പ് ഈ ജോലികൾക്ക് ശേഷിയുള്ളതല്ല എന്ന് കരുതിയിരുന്ന ഹാർഡ്‌വെയറുകളിൽ പോലും നിങ്ങൾക്ക് വലിയ ഡിഫ്യൂഷൻ മോഡലുകൾ പ്രവർത്തിപ്പിക്കാൻ കഴിയും. ഏതാനും തലമുറകൾ മുമ്പുള്ള ഒരു മിഡ്-റേഞ്ച് കാർഡ് പോലും ഉയർന്ന റെസല്യൂഷൻ ഇമേജ് സിന്തസിസിന് പെട്ടെന്ന് അനുയോജ്യമാകും. Nunchaku വിഷ്വൽ ഫിഡിലിറ്റി (visual fidelity) നിലനിർത്താൻ രൂപകൽപ്പന ചെയ്തിട്ടുള്ളതിനാൽ, ഔട്ട്‌പുട്ട് മങ്ങിയതാകില്ല. ഗെയിം അസറ്റുകൾ പ്രോട്ടോടൈപ്പ് ചെയ്യുകയോ, പ്രോഡക്റ്റ് മോക്കുകൾ നിർമ്മിക്കുകയോ, ഇല്ലസ്ട്രേഷനുകൾ ബച്ച് പ്രോസസ്സ് ചെയ്യുകയോ ചെയ്യുമ്പോൾ ചിത്രങ്ങൾ ഉപയോഗിക്കാൻ പാകത്തിന് വ്യക്തതയോടെ ഇരിക്കും.

ഇതിൽ സ്വകാര്യതയുടെ ഒരു വശവുമുണ്ട്. ഡിഫ്യൂഷൻ ലോക്കലായി പ്രവർത്തിപ്പിക്കുന്നു എന്നതിനർത്ഥം നിങ്ങളുടെ പ്രോംപ്റ്റുകളും നിർമ്മിച്ച ചിത്രങ്ങളും നിങ്ങളുടെ മെഷീനിൽ നിന്ന് പുറത്തേക്ക് പോകില്ല എന്നാണ്. നിങ്ങൾ സെൻസിറ്റീവ് ആയ കോൺസെപ്റ്റ് ആർട്ടുകളോ ഉടമസ്ഥാവകാശമുള്ള ഡിസൈനുകളോ ഒരു റിമോട്ട് സെർവറിലേക്ക് അപ്‌ലോഡ് ചെയ്യുന്നില്ല. എല്ലാം നിങ്ങളുടെ ഫയർവാളിന് പിന്നിൽ, നിങ്ങളുടെ ഡിസ്കിൽ തന്നെ ഇരിക്കുന്നു. രഹസ്യസ്വഭാവമുള്ള ഐപി (IP) കൈകാര്യം ചെയ്യുന്ന സ്റ്റുഡിയോകൾക്കോ നിയന്ത്രിത വ്യവസായങ്ങളിൽ പ്രവർത്തിക്കുന്ന ക്രിയേറ്റീവ്സ്ക്കോ ഇത് ഒരു ആഡംബരമല്ല, മറിച്ച് ഒരു ആവശ്യമാണ്.

ഓഫ്‌ലൈനായി പ്രവർത്തിക്കുന്ന ഡെസ്ക്ടോപ്പ് ഏജന്റുകൾ

നിങ്ങളുടെ ഡെസ്ക്ടോ

ഒരു ഘട്ടം ഘട്ടമായുള്ള സമീപനം (tiered approach) ഇത് പരിഹരിക്കുന്നു. ചെറിയ ജോലികൾ ലോക്കൽ മോഡലുകളിലേക്കോ ചെറിയ ക്ലൗഡ് എൻഡ്പോയിന്റുകളിലേക്കോ മാറ്റുക. ക്ലാസിഫിക്കേഷൻ, സമ്മറി (summarization), ഫോർമാറ്റിംഗ് എന്നിവയ്ക്കായി നിങ്ങളുടെ സ്വന്തം ഹാർഡ്‌വെയറിൽ പ്രവർത്തിക്കുന്ന 7-ബില്യൺ പാരാമീറ്റർ മോഡൽ ഉപയോഗിക്കുക. സങ്കീർണ്ണമായ ലോജിക്, മൾട്ടി-സ്റ്റെപ്പ് പ്ലാനിംഗ് അല്ലെങ്കിൽ ആഴത്തിലുള്ള ഡൊമെയ്ൻ റീസണിംഗ് എന്നിവ യഥാർത്ഥത്തിൽ ആവശ്യമുള്ള ജോലികൾക്കായി Claude Opus ഉൾപ്പെടെയുള്ള വലിയ മോഡലുകളെ മാറ്റിവെക്കുക.

ഇത് ചിലവ് ഗണ്യമായി കുറയ്ക്കുന്നു എന്ന് മാത്രമല്ല, നിങ്ങളുടെ പൈപ്പ്‌ലൈനിന്റെ വേഗത വർദ്ധിപ്പിക്കുകയും ചെയ്യുന്നു. ചെറിയ മോഡലുകൾ ഉടനടി പ്രതികരിക്കുന്നു. ഒരു ഷെയർഡ് API-യിലെ എൻ്റർപ്രൈസ് ട്രാഫിക്കിന് പിന്നിൽ ഇവ ക്യൂ നിൽക്കേണ്ടി വരുന്നില്ല. നിങ്ങൾക്ക് വേഗത്തിൽ ഉത്തരങ്ങൾ ലഭിക്കുന്നു, കൂടാതെ നിങ്ങളുടെ പ്രതിമാസ ബില്ലും കുറയുന്നു. ഈ തന്ത്രം ഗുണനിലവാരത്തിൽ വിട്ടുവീഴ്ച ചെയ്യുന്നതിനെക്കുറിച്ചല്ല; മറിച്ച് ആവശ്യമായ കരുത്തിനെ (horsepower) സാഹചര്യത്തിന് അനുസരിച്ച് ഉപയോഗിക്കുന്നതിനെക്കുറിച്ചാണ്.

യഥാർത്ഥ പാഠം

ഇതിലെ പൊതുവായ കാര്യം സ്വയംപര്യാപ്തതയാണ്. ഒരു ക്ലസ്റ്റർ വാടകയ്‌ക്കെടുക്കാതെ തന്നെ ഇമേജുകൾ നിർമ്മിക്കാൻ Nunchaku നിങ്ങളെ അനുവദിക്കുന്നു. Claude Cowork നിങ്ങളുടെ ഓട്ടോമേഷൻ സ്വന്തം ഹാർഡ്‌വെയറിൽ തന്നെ നിലനിർത്തുന്നു. ഒരു ചെറിയ യാത്രയ്ക്കായി ലക്ഷ്വറി എൻജിൻ വാടകയ്‌ക്കെടുക്കുന്നത് ഒഴിവാക്കാൻ ഒരു ടിയേർഡ് മോഡൽ സ്ട്രാറ്റജി സഹായിക്കുന്നു. ഇവയെല്ലാം ചേർന്ന് AI ഉപയോഗിക്കുന്നതിനുള്ള കുറഞ്ഞ ചിലവുള്ളതും വേഗതയേറിയതും കൂടുതൽ സ്വകാര്യതയുള്ളതുമായ ഒരു മാർഗ്ഗത്തിലേക്ക് വിരൽ ചൂണ്ടുന്നു. ഈ ആഴ്ച ഒരു പരീക്ഷണം കൊണ്ട് തുടങ്ങൂ. നിങ്ങളുടെ നിലവിലെ GPU-വിൽ Nunchaku ഇൻസ്റ്റാൾ ചെയ്യുക, സാധാരണമായ ഒരു ഫയലിംഗ് ജോലിക്കായി ഒരു ലോക്കൽ ഏജന്റിനെ പരീക്ഷിക്കുക, അല്ലെങ്കിൽ എത്ര കോളുകൾക്കാണ് യഥാർത്ഥത്തിൽ ഒരു ടോപ്പ്-ടയർ മോഡൽ ആവശ്യമായി വന്നതെന്ന് അറിയാൻ നിങ്ങളുടെ API ലോഗുകൾ പരിശോധിക്കുക. ഉപകരണങ്ങൾ തയ്യാറാണ്. ലാഭം യഥാർത്ഥമാണ്.

ഉറവിടം: Dev.to original coverage

ഓപ്ഷണൽ ലേണിംഗ് കമ്മ്യൂണിറ്റി: GyaanSetu AI on Telegram