ഞാൻ ഒരു $40K ലോക്കൽ LLM റിഗിന്റെ കണക്കുകൾ പരിശോധിച്ചു
ക്ലൗഡ് പ്രൊവൈഡർമാരിൽ നിന്ന് ബുദ്ധിശക്തി വാടകയ്ക്ക് എടുക്കുന്നത് നിർത്തുക. അത് സ്വന്തമാക്കാൻ തുടങ്ങുക.
ഞാൻ OpenAI-യിലും Anthropic-ലും എല്ലാ മാസവും $70 ചെലവഴിക്കുന്നു. അതായത് വർഷത്തിൽ $840. 2023 മുതൽ ഞാൻ ഇത് ചെയ്യുന്നുണ്ട്. റോബോട്ടുകളോട് സംസാരിക്കാൻ വേണ്ടി മാത്രം ഒരു പഴയ കാറിന് തുല്യമായ തുക ഞാൻ നൽകി കഴിഞ്ഞു.
Jamesob-ന്റെ ഒരു പുതിയ ഗൈഡ് മികച്ച മോഡലുകൾ ലോക്കലായി പ്രവർത്തിപ്പിക്കാൻ നിർദ്ദേശിക്കുന്നു. $40,000 വിലവരുന്ന ഹാർഡ്വെയർ ഉപയോഗിച്ച് Claude Opus-ന് സമാനമായ പ്രകടനം കാഴ്ചവെക്കാൻ കഴിയുമെന്ന് അദ്ദേഹം അവകാശപ്പെടുന്നു.
ഞാൻ ഇതിന്റെ ചെലവുകൾ വിശകലനം ചെയ്തു. ലോക്കൽ LLM റിഗുകളെക്കുറിച്ചുള്ള സത്യം ഇതാ.
$51,700-ന്റെ ബിൽഡ്
ഈ സെറ്റപ്പിൽ നാല് NVIDIA RTX PRO 6000 GPUs ഉപയോഗിക്കുന്നു. • ആകെ VRAM: 384GB • ശേഷി: GLM-5.2 പോലുള്ള വലിയ മോഡലുകൾ സെക്കൻഡിൽ 80 ടോക്കണുകൾ എന്ന വേഗതയിൽ പ്രവർത്തിപ്പിക്കുന്നു. • ഉപയോഗം: ഇത് ടീമുകൾക്കോ അല്ലെങ്കിൽ വലിയ തോതിലുള്ള എന്റർപ്രൈസ് ആവശ്യങ്ങൾക്കോ വേണ്ടിയുള്ളതാണ്. • വെല്ലുവിളി: നിങ്ങൾ ഒരാൾ മാത്രമാണെങ്കിൽ, ഇതിലൂടെ ചെലവ് തിരിച്ചുപിടിക്കാൻ (break even) ഒരുപാട് സമയമെടുക്കും.
$2,000-ന്റെ ബിൽഡ് (ഏറ്റവും അനുയോജ്യമായത്)
ഭൂരിഭാഗം ഡെവലപ്പർമാർക്കും ഏറ്റവും മികച്ച തിരഞ്ഞെടുപ്പ് ഇതാണ്. • ഹാർഡ്വെയർ: രണ്ട് ഉപയോഗിച്ച RTX 3090 GPUs (ആകെ 48GB VRAM). • ശേഷി: Qwen3.6-27B, Whisper-large-v3 എന്നിവ പ്രവർത്തിപ്പിക്കുന്നു. • ഗുണം: കോഡിംഗിനും റീസണിംഗിനും ഇത് GPT-4-നോട് മത്സരിക്കുന്നു. • ലാഭം: നിങ്ങൾ മാസത്തിൽ $500 APIs-നായി ചെലവഴിക്കുന്നുണ്ടെങ്കിൽ, 4 മാസത്തിനുള്ളിൽ ഇതിന്റെ ചെലവ് തിരിച്ചുപിടിക്കാം.
എന്തുകൊണ്ട് ലോക്കലായി നിർമ്മിക്കണം?
• സ്വകാര്യത: നിങ്ങളുടെ IP (Intellectual Property) മൂന്നാം കക്ഷികൾക്ക് ചോരാതെ തന്നെ കോഡുകൾ മോഡലിലൂടെ അയക്കാം. • വിശ്വാസ്യത: ChatGPT പ്രവർത്തനരഹിതമാകുമ്പോഴോ അല്ലെങ്കിൽ റേറ്റ് ലിമിറ്റുകൾ എത്തുമ്പോഴോ നിങ്ങളുടെ മോഡൽ പ്രവർത്തിക്കും. • സ്വാതന്ത്ര്യം: അധിക ചെലവില്ലാതെ ആയിരക്കണക്കിന് പരീക്ഷണാത്മക പ്രോംപ്റ്റുകൾ പ്രവർത്തിപ്പിക്കാം.
ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ
AMD ഒരു ശക്തമായ എതിരാളിയായി മാറിക്കൊണ്ടിരിക്കുകയാണ്. NVIDIA-യേക്കാൾ കുറഞ്ഞ ചെലവിൽ സേവനം നൽകാൻ MI355X-ന് കഴിയുമെന്ന് അവകാശപ്പെടുന്നു. ഇതിന്റെ സോഫ്റ്റ്വെയർ ഉപയോഗിക്കാൻ അല്പം പ്രയാസമാണ്, എങ്കിലും ലാഭം വളരെ കൂടുതലാണ്.
യാഥാർത്ഥ്യം പരിശോധിക്കുമ്പോൾ
ലോക്കൽ ബിൽഡുകൾ പെട്ടെന്ന് പ്രവർത്തിപ്പിക്കാൻ കഴിയുന്നവയല്ല (plug-and-play). നിങ്ങൾ ഇവ കൈകാര്യം ചെയ്യേണ്ടതുണ്ട്:
- സങ്കീർണ്ണമായ BIOS സെറ്റിംഗുകൾ.
- കേർണൽ പാരാമീറ്ററുകളും സെക്യൂരിറ്റി ട്രേഡ്ഓഫുകളും.
- നിങ്ങളുടെ വീടിന്റെ സർക്യൂട്ടുകൾ തകരാറിലാക്കാൻ സാധ്യതയുള്ള ഉയർന്ന വൈദ്യുതി ഉപയോഗം.
എന്റെ ഉപദേശം:
നിങ്ങൾ ഒരു വ്യക്തിഗത ഡെവലപ്പർ ആണെങ്കിൽ, ഉപയോഗിച്ച RTX 3090-കൾ വാങ്ങുക. $2,000-ന്റെ ബിൽഡ് ആണ് നിങ്ങൾക്ക് ചെയ്യാവുന്ന ഏറ്റവും ബുദ്ധിപരമായ നിക്ഷേപം. എന്നാൽ നിങ്ങൾ മാസത്തിൽ $5,000 APIs-നായി ചെലവഴിക്കുന്ന ഒരു വലിയ ടീമാണെങ്കിൽ, $51,000-ന്റെ ബിൽഡ് തികച്ചും യുക്തിസഹമാണ്.
നിങ്ങൾ ഒരു ലോക്കൽ റിഗ് നിർമ്മിച്ചിട്ടുണ്ടോ? നിങ്ങളുടെ അനുഭവം കമന്റുകളിൽ പങ്കുവെക്കൂ.
ഓപ്ഷണൽ ലേണിംഗ് കമ്മ്യൂണിറ്റി: https://t.me/GyaanSetuAi