मी ४०,००० डॉलर्सच्या लोकल LLM रिगचे गणित मांडले

क्लाउड प्रोव्हायडर्सकडून बुद्धिमत्ता भाड्याने घेणे थांबवा. ती स्वतःची मालकी मिळवा.

मी दरमहा OpenAI आणि Anthropic वर ७० डॉलर्स खर्च करतो. म्हणजे वर्षाला ८४० डॉलर्स. मी २०२३ पासून हे करत आहे. रोबोट्सशी चॅट करण्यासाठी मी एका वापरलेल्या कारचे पैसे भरले आहेत.

Jamesob च्या अलीकडील मार्गदर्शिकेनुसार, टॉप मॉडेल्स स्थानिक पातळीवर (locally) चालवण्याचा सल्ला दिला आहे. त्यांच्या दाव्यानुसार, ४०,००० डॉलर्सच्या हार्डवेअरसह तुम्ही Claude Opus च्या जवळ जाणारी कामगिरी मिळवू शकता.

मी खर्चाचे विश्लेषण केले आहे. लोकल LLM रिग्सबद्दलचे सत्य खालीलप्रमाणे आहे.

५१,७०० डॉलर्सची बिल्ड या सेटअपमध्ये चार NVIDIA RTX PRO 6000 GPUs वापरले जातात. • एकूण VRAM: 384GB • क्षमता: GLM-5.2 सारखी मोठी मॉडेल्स ८० टोकन्स प्रति सेकंद वेगाने चालवू शकते. • वापर: हे टीम्स किंवा मोठ्या प्रमाणावरील एंटरप्राइझ गरजांसाठी आहे. • अडचण: जर तुम्ही एकटेच असाल, तर या खर्चाची भरपाई (break even) होण्यासाठी खूप वेळ लागू शकतो.

२,००० डॉलर्सची बिल्ड (सर्वात योग्य पर्याय) बहुतेक डेव्हलपर्ससाठी हा सर्वोत्तम पर्याय आहे. • हार्डवेअर: दोन वापरलेले RTX 3090 GPUs (एकूण 48GB VRAM). • क्षमता: Qwen3.6-27B आणि Whisper-large-v3 चालवू शकते. • फायदा: कोडिंग आणि रिझनिंगसाठी हे GPT-4 ला टक्कर देते. • परतावा: जर तुम्ही API वर दरमहा ५०० डॉलर्स खर्च करत असाल, तर ४ महिन्यांत या सेटअपचा खर्च निघून येईल.

लोकल बिल्ड का करावी? • गोपनीयता (Privacy): तुमचा IP तृतीय पक्षांना लीक न करता मॉडेलद्वारे कोड पाठवा. • विश्वासार्हता: जेव्हा ChatGPT बंद पडते किंवा रेट लिमिट्स (rate limits) लागू होतात, तेव्हा तुमचे मॉडेल काम करते. • स्वातंत्र्य: अतिरिक्त खर्च न करता हजारो प्रायोगिक प्रॉम्प्ट्स (experimental prompts) चालवा.

काय लक्षात ठेवावे AMD एक गंभीर स्पर्धक म्हणून समोर येत आहे. MI355X हे NVIDIA पेक्षा कमी खर्च देण्याचा दावा करते. याचे सॉफ्टवेअर वापरणे थोडे कठीण आहे, परंतु बचत मोठी आहे.

वास्तव तपासणी (Reality Check) लोकल बिल्ड्स 'प्लग-अँड-प्ले' नसतात. तुम्हाला खालील गोष्टी हाताळाव्या लागतील:

  • क्लिष्ट BIOS सेटिंग्स.
  • कर्नल पॅरामीटर्स आणि सुरक्षा तडजोडी (security tradeoffs).
  • जास्त वीज वापर, ज्यामुळे तुमच्या घरातील सर्किट ट्रिप होऊ शकते.

माझा सल्ला: जर तुम्ही वैयक्तिक डेव्हलपर असाल, तर वापरलेले RTX 3090s खरेदी करा. २,००० डॉलर्सची बिल्ड हा तुमचा सर्वात हुशार निर्णय ठरेल. जर तुम्ही एक मोठी टीम असाल आणि API वर दरमहा ५,००० डॉलर्स खर्च करत असाल, तर ५१,००० डॉलर्सची बिल्ड करणे पूर्णपणे तर्कसंगत आहे.

तुम्ही एखादी लोकल रिग तयार केली आहे का? तुमचा अनुभव कमेंट्समध्ये सांगा.

स्रोत: https://dev.to/sar_007/i-ran-the-numbers-on-building-a-40k-local-llm-rig-heres-when-it-actually-makes-sense-3bef

पर्यायी लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi