Cloud APIs are convenient until they stop being convenient. Your monthly bill creeps up. A pricing change breaks your bu

ക്ലൗഡ് APIകൾ സൗകര്യപ്രദമാണ്, എന്നാൽ അവ സൗകര്യപ്രദമല്ലാതാകുന്നതുവരെ മാത്രം. നിങ്ങളുടെ മാസ ബില്ലുകൾ ക്രമാനുഗതമായി വർദ്ധിക്കുന്നു. ഒരു വിലമാറ്റം നിങ്ങളുടെ ബജറ്റിനെ തകിടം മറിക്കുന്നു. കൂടാതെ, എവിടെയോ ആ ചെറിയ അക്ഷരങ്ങളിൽ (fine print) നിങ്ങളുടെ ഉടമസ്ഥതയിലുള്ള ഡാറ്റ മറ്റൊരാളുടെ മോഡൽ പരിശീലിപ്പിക്കാൻ ഉപയോഗിക്കുന്നുണ്ടാകാം. ഈ തടസ്സങ്ങൾ കൂടുതൽ ഡെവലപ്പർമാരെ ലോക്കൽ AI വർക്ക്സ്റ്റേഷനുകൾ നിർമ്മിക്കാൻ പ്രേരിപ്പിക്കുന്നു. നിങ്ങൾ ഹാർഡ്‌വെയർ ഒരിക്കൽ മാത്രം വാങ്ങുന്നു, സ്റ്റാക്ക് പൂർണ്ണമായും നിങ്ങളുടെ നിയന്ത്രണത്തിലാക്കുന്നു, കൂടാതെ നിങ്ങളുടെ മെഷീനിൽ നിന്ന് ഏത് ഡാറ്റയാണ് പുറത്തേക്ക് പോകേണ്ടതെന്ന് കൃത്യമായി തീരുമാനിക്കുന്നു.

ഈ ആഴ്ച ആ മാറ്റം കൂടുതൽ പ്രായോഗികമാക്കുന്ന മൂന്ന് പ്രധാന സംഭവങ്ങൾ ഉണ്ടായി: നിങ്ങളുടെ സാമ്പത്തിക വിവരങ്ങൾ വീട്ടിൽ തന്നെ സുരക്ഷിതമായി വെക്കുന്ന ഒരു Dockerized trading assistant, NVIDIA GPU-കളെ സ്വന്തം നിയന്ത്രണത്തിലാക്കാനുള്ള ലളിതമായ ഒരു ഗൈഡ്, കൂടാതെ റോബോട്ട് ലേണിംഗ് സാധാരണ കൺസ്യൂമർ ഡെസ്ക്ടോപ്പുകളിൽ ലഭ്യമാക്കുന്ന Hugging Face-ന്റെ പുതിയ റിലീസ്.

Docker ഉപയോഗിച്ച് നിങ്ങളുടെ ട്രേഡിംഗ് ഡാറ്റ ലോക്കലായി സൂക്ഷിക്കുക

ട്രേഡിംഗ് വർക്ക്ഫ്ലോകൾക്കായി പ്രത്യേകം നിർമ്മിച്ച TradingSpy എന്ന ലോക്കൽ AI റിസർച്ച് അസിസ്റ്റന്റ് ഒരു ഡെവലപ്പർ പുറത്തിറക്കി. മാർക്കറ്റ് ഡാറ്റയും പേഴ്സണൽ വാച്ച്‌ലിസ്റ്റുകളും ഒരു റിമോട്ട് എൻഡ്പോയിന്റിലേക്ക് അയക്കുന്നതിന് പകരം, നിങ്ങളുടെ സ്വന്തം ഹാർഡ്‌വെയറിൽ ഒരു Docker container-നുള്ളിൽ എല്ലാം പ്രവർത്തിപ്പിക്കാം.

സാമ്പത്തിക വിവരങ്ങൾ വളരെ സെൻസിറ്റീവ് ആണ്. നിങ്ങളുടെ പോർട്ട്‌ഫോളിയോ വിവരങ്ങളും, ട്രേഡിംഗ് കുറിപ്പുകളും, പഴയ ട്രേഡിംഗ് വിവരങ്ങളും ഒഴിവാക്കാൻ സാധിക്കുമെങ്കിൽ ഒരു തേർഡ് പാർട്ടി API വഴി കടന്നുപോകുന്നത് ഒഴിവാക്കണം. മോഡൽ ലോക്കലായി പ്രവർത്തിപ്പിക്കുന്നത് ഈ റിസ്ക് പൂർണ്ണമായും ഒഴിവാക്കുന്നു. കണ്ടെയ്നർ ഇൻഫറൻസ് (inference) കൈകാര്യം ചെയ്യുന്നു, നിങ്ങളുടെ ബ്രോക്കറേജ് ഡാറ്റ നിങ്ങളുടെ കമ്പ്യൂട്ടറിൽ നിന്ന് പുറത്തേക്ക് പോകേണ്ടി വരുന്നില്ല.

Python മെഷീൻ ലേണിംഗ് പ്രോജക്റ്റുകളെ ബുദ്ധിമുട്ടിക്കുന്ന സങ്കീർണ്ണമായ ഡിപെൻഡൻസി (dependency) പ്രശ്നങ്ങൾ പരിഹരിക്കാനും Docker സഹായിക്കുന്നു. ട്രേഡിംഗ് സ്റ്റാക്കുകളിൽ പലപ്പോഴും pandas പോലുള്ള ഡാറ്റാ ലൈബ്രറികൾ, ടെക്നിക്കൽ അനാലിസിസ് ടൂൾകിറ്റുകൾ, GPU-അക്സിലറേറ്റഡ് ഇൻഫറൻസ് എൻജിനുകൾ എന്നിവ ഇടകലർന്നിരിക്കും. ഐസൊലേഷൻ (isolation) ഇല്ലെങ്കിൽ, ഒരു പ്രോജക്റ്റ് CUDA 11.8 ആവശ്യപ്പെടുമ്പോൾ മറ്റൊന്ന് 12.1 ആവശ്യപ്പെട്ടേക്കാം, ഇത് നിങ്ങളുടെ അടിസ്ഥാന സിസ്റ്റത്തെ പരസ്പരവിരുദ്ധമായ എൻവയോൺമെന്റ് വേരിയബിളുകളുടെ ഒരു കുരുക്കായി മാറ്റും. Docker ഓരോ ഡിപെൻഡൻസി ഗ്രാഫിനെയും അതിന്റെ സ്വന്തം ഇമേജിലേക്ക് ലോക്ക് ചെയ്യുന്നു. നിങ്ങൾ ഇത് ഒരിക്കൽ നിർമ്മിച്ചാൽ, അത് ഒരു ഹെഡ്‌ലെസ്സ് Ubuntu സെർവർ, WSL2 ഉള്ള ഒരു Windows 11 ഡെസ്ക്ടോപ്പ്, അല്ലെങ്കിൽ ഒരു ചെറിയ ഹോംലാബ് NAS എന്നിവയിൽ ഒരേപോലെ പ്രവർത്തിക്കും. നിങ്ങളുടെ ഫയലുകൾ ഫയൽസിസ്റ്റത്തിൽ തന്നെ നിലനിർത്തിക്കൊണ്ട് കണ്ടെയ്നറിലേക്ക് ലോക്കൽ ഡാറ്റാ ഡയറക്ടറികൾ bind-mount ചെയ്യാനും നിങ്ങൾക്ക് സാധിക്കും.

ഇതിൽ ചിലവ് സംബന്ധിച്ച കാര്യവുമുണ്ട്. ക്ലൗഡ് LLM API-കൾ ഓരോ ടോക്കണിനും പണം ഈടാക്കുന്നു. നൂറുകണക്കിന് ടിക്കറുകൾ സ്കാൻ ചെയ്യുമ്പോൾ, പ്രൈസ് ആക്ഷൻ, വാർത്താ സംഗ്രഹങ്ങൾ, ടെക്നിക്കൽ ഇൻഡിക്കേറ്ററുകൾ എന്നിവ ഒരു മോഡലിലേക്ക് നൽകിക്കൊണ്ട് നിങ്ങൾ പ്രവർത്തിക്കുകയാണെങ്കിൽ, ഈ ചിലവ് വേഗത്തിൽ വർദ്ധിക്കും. എന്നാൽ ഒരു ലോക്കൽ മോഡലിന് അങ്ങനെയൊരു ചിലവില്ല. ഒരു GPU വാങ്ങുന്നതിനുള്ള മുൻകൂർ ചിലവ് ഒരിക്കൽ മാത്രം വലിയൊരു ബാധ്യതയാകുന്നു; എന്നാൽ API ബില്ലുകൾ എല്ലാ മാസവും വലിയൊരു ബാധ്യതയായി തുടരുന്നു.

NVIDIA GPU എൻവയോൺമെന്റുകളെ മനസ്സിലാക്കാം

ക്ലൗഡ് API-കളിൽ നിന്ന് ഒരു ലോക്കൽ NVIDIA കാർഡിലേക്ക് മാറുന്നത് വെറും PyTorch ഇൻസ്റ്റാൾ ചെയ്ത് .to('cuda') എന്ന് വിളിക്കുന്നത്ര ലളിതമല്ല. ഇതിന് കൃത്യമായ പഠനപ്രക്രിയ ആവശ്യമാണ്; അത് മനസ്സിലാക്കുന്നത് ഒരു സാധാരണ സ്ക്രിപ്റ്റിനെ ഒരു വിശ്വസനീയമായ വർക്ക്സ്റ്റേഷനായി മാറ്റുന്നു.

ക്ലൗഡ് API-കൾ ഹാർഡ്‌വെയറിനെ മറച്ചുവെക്കുന്നു. നിങ്ങൾ JSON അയക്കുന്നു, നിങ്ങൾക്ക് JSON ലഭിക്കുന്നു. എന്നാൽ ലോക്കലായി ചെയ്യുമ്പോൾ നിങ്ങൾ ഒരു സിസ്റ്റം അഡ്മിനിസ്ട്രേറ്ററാണ്. നിങ്ങൾക്ക് ശരിയായ ഡ്രൈവർ, അനുയോജ്യമായ CUDA ടൂൾകിറ്റ്, നിങ്ങളുടെ GPU ആർക്കിടെക്ചറിന് അനുയോജ്യമായ PyTorch ബിൽഡ് എന്നിവ ആവശ്യമാണ്. തുടർന്ന് കണ്ടെയ്നറുകൾക്കായി nvidia-docker റൺടൈം കോൺഫിഗർ ചെയ്യുകയോ അല്ലെങ്കിൽ ബെയർ മെറ്റലിൽ (bare metal) LD_LIBRARY_PATH മാനേജ് ചെയ്യുകയോ ചെയ്യേണ്ടി വരും. ഓരോ ലെയറിലെയും വേർഷനുകൾ കൃത്യമായി പൊരുത്തപ്പെടണം, അല്ലാത്തപക്ഷം ലൈബ്രറികൾ കാണുന്നില്ല എന്നോ ഡിവൈസുകൾ പ്രവർത്തിക്കുന്നില്ല എന്നോ ഉള്ള സങ്കീർണ്ണമായ എററുകൾ നിങ്ങൾക്ക് ലഭിക്കും.

ഇതിന്റെ ഗുണം നേരിട്ടുള്ള ഹാർഡ്‌വെയർ നിയന്ത്രണമാണ്. GPU മെമ്മറിക്ക് കൃത്യമായ പരിധിയുണ്ടെന്ന് നിങ്ങൾ മനസ്സിലാക്കുന്നു. സിസ്റ്റം

Hugging Face, LeRobot-ന്റെ 0.6.0 പതിപ്പ് പുറത്തിറക്കി. ചാറ്റ്ബോട്ടുകൾക്കും ഇമേജ് ജനറേറ്ററുകൾക്കും പിന്നിലുള്ള അതേ Transformers, Diffusers ലൈബ്രറികൾ ഉപയോഗിച്ച് റോബോട്ട് ലേണിംഗിനായി രൂപകൽപ്പന ചെയ്ത ഒരു ഫ്രെയിംവർക്കാണിത്. അടുത്ത വാക്കോ പിക്സലോ പ്രവചിക്കുന്നതിന് പകരം, ഒരു ക്യാമറ ഫീഡും ഭാഷാ നിർദ്ദേശവും നൽകിയാൽ അടുത്ത മോട്ടോർ ആക്ഷൻ പ്രവചിക്കുകയാണ് ഈ മോഡൽ ചെയ്യുന്നത്.

മോഷൻ-ക്യാപ്ചർ റൂമുകളും ഇൻഡസ്ട്രിയൽ GPU ക്ലസ്റ്ററുകളും ഉള്ള വലിയ ഫണ്ട് ലഭിക്കുന്ന ലാബുകൾക്ക് മാത്രം പരിമിതമായ ഒരു മേഖലയായിരുന്നു റോബോട്ടിക്സ്. LeRobot ആ തടസ്സം നീക്കുന്നു. 0.6.0 പതിപ്പ് റോബോട്ടിക് പോളിസികൾ രൂപകൽപ്പന ചെയ്യുന്നതും പരിശീലിപ്പിക്കുന്നതും വിലയിരുത്തുന്നതും ലളിതമാക്കുന്നു. നിങ്ങൾക്ക് സിമുലേഷനിൽ പ്രോട്ടോടൈപ്പ് ചെയ്യാനും പോളിസി ആർക്കിടെക്ചറിൽ മാറ്റങ്ങൾ വരുത്താനും സാധിക്കും, തുടർന്ന് ആയിരക്കണക്കിന് വരികൾ നീളുന്ന ലോ-ലെവൽ കൺട്രോൾ കോഡുകൾ എഴുതാതെ തന്നെ ഒരു യഥാർത്ഥ ആർമിലേക്കോ മൊബൈൽ ബേസിലേക്കോ ഇത് മാറ്റാം.

കൺസ്യൂമർ GPU-കളെ ലക്ഷ്യമിടുന്നു എന്നതാണ് ഈ റിലീസിനെ ശ്രദ്ധേയമാക്കുന്നത്. പരീക്ഷണങ്ങൾക്കായി നിങ്ങൾക്ക് ഒരു സെർവർ റാക്ക് ആവശ്യമില്ല. ഒരു ഹൈ-എൻഡ് കൺസ്യൂമർ കാർഡ് ഉപയോഗിച്ച് യഥാർത്ഥ ഗ്രിപ്പറുകൾക്കും ആറുകൾക്കും അനുയോജ്യമായ രീതിയിൽ പോളിസികൾ പരിശീലിപ്പിക്കാൻ കഴിയും. ഓപ്പൺ-വെയിറ്റ് മോഡലുകൾ ക്ലൗഡിൽ നിന്ന് ഭൗതിക ഹാർഡ്‌വെയറുകളിലേക്ക് മാറുന്നു എന്നതിന്റെ വ്യക്തമായ സൂചനയാണിത്. വെയിറ്റുകൾ നിങ്ങളുടെ ഡ്രൈവിൽ തന്നെയായിരിക്കും. ഒരു API-ലേക്ക് നെറ്റ്‌വർക്ക് വഴി ബന്ധപ്പെടാതെ തന്നെ റോബോട്ടിന് കമാൻഡുകൾ ലഭിക്കുന്നു. യഥാർത്ഥ ലോകത്ത് ചലിക്കുന്ന ഒന്നാണ് നിങ്ങൾ നിയന്ത്രിക്കുന്നതെങ്കിൽ, ഇതിന്റെ ലേറ്റൻസി കുറവും പ്രൈവസി ഗുണങ്ങളും അവഗണിക്കാനാവില്ല.

സോഫ്റ്റ്‌വെയറും ഹാർഡ്‌വെയറും തമ്മിലുള്ള അതിർവരമ്പുകളെക്കുറിച്ചുള്ള നിങ്ങളുടെ കാഴ്ചപ്പാടും ഇത് മാറ്റുന്നു. റോബോട്ടിക് പോളിസികൾ മുമ്പ് ഗവേഷണ പ്രബന്ധങ്ങളിൽ (papers) മാത്രമായിരുന്നു ഒതുങ്ങിയിരുന്നത്. എന്നാൽ ഇപ്പോൾ നിങ്ങൾക്ക് ക്ലോൺ ചെയ്യാനും സ്വന്തം മോഷൻ ഡാറ്റ ഉപയോഗിച്ച് ഫൈൻ-ട്യൂൺ ചെയ്യാനും നിങ്ങളുടെ ഉടമസ്ഥതയിലുള്ള ഹാർഡ്‌വെയറിൽ വിന്യസിക്കാനും കഴിയുന്ന റെപ്പോസിറ്ററികളിലാണ് അവ നിലനിൽക്കുന്നത്.

യഥാർത്ഥ വിജയം നിയന്ത്രണത്തിലാണ്

ഒരു ലോക്കൽ AI സ്റ്റാക്ക് നിർമ്മിക്കുക എന്നത് ക്ലൗഡിനെ തത്വത്തിൽ എതിർക്കലല്ല. മറിച്ച്, നിങ്ങളുടെ മുൻഗണനകൾക്കനുസരിച്ച് കമ്പ്യൂട്ടിംഗ് എവിടെ വേണമെന്ന് തീരുമാനിക്കലാണ്. മോഡലുകൾ ലോക്കലായി പ്രവർത്തിപ്പിക്കുമ്പോൾ നിങ്ങളുടെ ഡാറ്റ നിങ്ങളുടെ ഡ്രൈവുകളിൽ തന്നെയായിരിക്കും. നിങ്ങളുടെ ചിലവുകൾ പ്രവചനാതീതമായ പ്രതിമാസ നിരക്കുകളിൽ നിന്ന് സ്ഥിരമായ ഹാർഡ്‌വെയർ നിക്ഷേപത്തിലേക്ക് മാറുന്നു. കൂടാതെ CUDA ഡീബഗ്ഗിംഗ്, VRAM പ്രൊഫൈലിംഗ്, വർക്ക്ഫ്ലോകൾ കണ്ടെയ്‌നറൈസ് ചെയ്യുക തുടങ്ങിയ കഴിവുകൾ നിങ്ങൾ നേടിയെടുക്കുന്നു—ഇത് നിങ്ങളെ വെറുമൊരു API ഉപഭോക്താവ് എന്നതിലുപരി ഒരു സിസ്റ്റംസ് എഞ്ചിനീയറാക്കി മാറ്റുന്നു.

ടൂളുകൾ തയ്യാറാണ്. കൺസ്യൂമർ കാർഡുകളിൽ ഉൾക്കൊള്ളാൻ പാകത്തിൽ മോഡലുകൾ ചെറുതാണ്. ഈ സ്റ്റാക്കിന്റെ ഉടമയാകണോ അതോ ഇത് വാടകയ്ക്ക് എടുത്ത് ഉപയോഗിക്കണോ എന്നത് മാത്രമാണ് ഇനി ബാക്കിയുള്ള ചോദ്യം.