મેં $40K ના લોકલ LLM રિગ પર ગણતરી કરી

ક્લાઉડ પ્રોવાઈડર્સ પાસેથી બુદ્ધિ (intelligence) ભાડે લેવાનું બંધ કરો. તેને પોતાની માલિકીનું બનાવવાનું શરૂ કરો.

હું દર મહિને OpenAI અને Anthropic પર $70 ખર્ચું છું. તે વર્ષે $840 થાય છે. હું 2023 થી આવું કરી રહ્યો છું. રોબોટ્સ સાથે વાતચીત કરવા માટે મેં એક વપરાયેલી કાર જેટલા પૈસા ચૂકવ્યા છે.

Jamesob દ્વારા તાજેતરમાં આપવામાં આવેલી એક માર્ગદર્શિકામાં ટોચના મોડલ્સ લોકલ રીતે ચલાવવાનું સૂચવવામાં આવ્યું છે. તેમનો દાવો છે કે તમે $40,000 ના હાર્ડવેર સાથે Claude Opus ની નજીકની કામગીરી મેળવી શકો છો.

મેં ખર્ચનું વિશ્લેષણ કર્યું છે. લોકલ LLM રિગ્સ વિશેનું સત્ય અહીં છે.

$51,700 નું બિલ્ડ

આ સેટઅપમાં ચાર NVIDIA RTX PRO 6000 GPUs નો ઉપયોગ થાય છે. • કુલ VRAM: 384GB • ક્ષમતા: GLM-5.2 જેવા વિશાળ મોડલ્સને 80 tokens પ્રતિ સેકન્ડની ઝડપે ચલાવે છે. • ઉપયોગનું કિસ્સો: આ ટીમો અથવા ઉચ્ચ-સ્તરની એન્ટરપ્રાઇઝ જરૂરિયાતો માટે છે. • મુશ્કેલી: જો તમે માત્ર એક જ વ્યક્તિ હોવ, તો ખર્ચ વસૂલવામાં (break even) ઘણો સમય લાગે છે.

$2,000 નું બિલ્ડ (The Sweet Spot)

મોટાભાગના ડેવલપર્સ માટે આ શ્રેષ્ઠ પસંદગી છે. • હાર્ડવેર: બે વપરાયેલા RTX 3090 GPUs (કુલ 48GB VRAM). • ક્ષમતા: Qwen3.6-27B અને Whisper-large-v3 ચલાવે છે. • ફાયદો: તે કોડિંગ અને રીઝનિંગ માટે GPT-4 સાથે સ્પર્ધા કરે છે. • વળતર: જો તમે APIs પર દર મહિને $500 ખર્ચતા હોવ, તો આ 4 મહિનામાં પોતાનો ખર્ચ વસૂલ કરી લેશે.

લોકલ રીતે કેમ બનાવવું?

• પ્રાઇવસી: ત્રીજા પક્ષોને IP લીક કર્યા વિના મોડલ દ્વારા કોડ મોકલો. • વિશ્વસનીયતા: જ્યારે ChatGPT બંધ થઈ જાય અથવા રેટ લિમિટ (rate limits) આવે ત્યારે તમારું મોડલ કામ કરશે. • સ્વતંત્રતા: વધારાના ખર્ચ વિના હજારો પ્રાયોગિક પ્રોમ્પ્ટ્સ ચલાવો.

શું ધ્યાન રાખવું

AMD એક ગંભીર ખેલાડી બની રહ્યું છે. MI355X એ NVIDIA કરતા ઓછો ખર્ચ આપવાનો દાવો કરે છે. સોફ્ટવેર વાપરવું અઘરું છે, પરંતુ બચત મોટી છે.

વાસ્તવિકતાની તપાસ (The Reality Check)

લોકલ બિલ્ડ્સ 'પ્લગ-એન્ડ-પ્લે' નથી. તમારે આ બાબતો સંભાળવી પડશે:

  • જટિલ BIOS સેટિંગ્સ.
  • કર્નલ પેરામીટર્સ અને સિક્યુરિટી ટ્રેડઓફ્સ.
  • ભારે પાવર વપરાશ જે તમારા ઘરના સર્કિટને ટ્રિપ કરી શકે છે.

મારી સલાહ: જો તમે વ્યક્તિગત ડેવલપર હોવ, તો વપરાયેલા RTX 3090s ખરીદો. $2,000 નું બિલ્ડ એ તમે કરી શકો તેવો સૌથી સમજદારીભર્યો ખર્ચ છે. જો તમે મોટી ટીમ હોવ અને APIs પર દર મહિને $5,000 ખર્ચતા હોવ, તો $51,000 નું બિલ્ડ એકદમ યોગ્ય છે.

શું તમે લોકલ રિગ બનાવી છે? તમારા અનુભવ વિશે મને કોમેન્ટમાં જણાવો.

સ્ત્રોત: https://dev.to/sar_007/i-ran-the-numbers-on-building-a-40k-local-llm-rig-heres-when-it-actually-makes-sense-3bef

વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi