मैंने $40K के लोकल LLM रिग का गणित लगाया

क्लाउड प्रोवाइडर्स से इंटेलिजेंस किराए पर लेना बंद करें। इसे खुद का बनाना शुरू करें।

मैं OpenAI और Anthropic पर हर महीने $70 खर्च करता हूँ। यह साल के $840 होते हैं। मैं 2023 से ऐसा ही कर रहा हूँ। मैंने सिर्फ रोबोट्स से चैट करने के लिए एक पुरानी कार के बराबर पैसे चुका दिए हैं।

Jamesob के एक हालिया गाइड में टॉप मॉडल्स को लोकल स्तर पर चलाने का सुझाव दिया गया है। उनका दावा है कि आप $40,000 के हार्डवेयर के साथ Claude Opus के करीब परफॉरमेंस पा सकते हैं।

मैंने लागत का विश्लेषण किया है। लोकल LLM रिग्स के बारे में सच्चाई यहाँ दी गई है।

$51,700 वाला बिल्ड

इस सेटअप में चार NVIDIA RTX PRO 6000 GPUs का उपयोग किया जाता है। • कुल VRAM: 384GB • क्षमता: GLM-5.2 जैसे विशाल मॉडल्स को 80 tokens प्रति सेकंड की गति से चला सकता है। • उपयोग का मामला: यह टीमों या हाई-स्केल एंटरप्राइज जरूरतों के लिए है। • पेच: यदि आप अकेले हैं, तो लागत वसूलने (break even) में बहुत लंबा समय लगता है।

$2,000 वाला बिल्ड (सबसे सटीक विकल्प)

अधिकांश डेवलपर्स के लिए यह सबसे अच्छा विकल्प है। • हार्डवेयर: दो पुराने (used) RTX 3090 GPUs (कुल 48GB VRAM)। • क्षमता: Qwen3.6-27B और Whisper-large-v3 चला सकता है। • लाभ: यह कोडिंग और रीजनिंग के लिए GPT-4 को टक्कर देता है। • पेबैक: यदि आप APIs पर $500/महीना खर्च करते हैं, तो यह 4 महीनों में अपनी लागत निकाल लेता है।

लोकल बिल्ड क्यों करें?

• प्राइवेसी: बिना किसी तीसरे पक्ष को IP लीक किए मॉडल के माध्यम से कोड भेजें। • विश्वसनीयता: जब ChatGPT डाउन हो या रेट लिमिट (rate limits) पर पहुँच जाए, तब भी आपका मॉडल काम करता है। • आजादी: बिना किसी अतिरिक्त लागत के हजारों एक्सपेरिमेंटल प्रॉम्प्ट्स चलाएं।

किन बातों का ध्यान रखें

AMD एक गंभीर खिलाड़ी बनता जा रहा है। MI355X का दावा है कि यह NVIDIA की तुलना में कम लागत प्रदान करता है। इसका सॉफ्टवेयर इस्तेमाल करना कठिन है, लेकिन बचत बहुत अधिक है।

वास्तविकता की जाँच

लोकल बिल्ड 'प्लग-एंड-प्ले' नहीं होते हैं। आपको इन्हें संभालना होगा:

  • जटिल BIOS सेटिंग्स।
  • कर्नेल पैरामीटर्स और सुरक्षा संबंधी समझौते (security tradeoffs)।
  • भारी बिजली की खपत जो आपके घर के सर्किट को ट्रिप कर सकती है।

मेरी सलाह: यदि आप एक व्यक्तिगत डेवलपर हैं, तो पुराने RTX 3090 खरीदें। $2,000 वाला बिल्ड आपके लिए सबसे समझदारी भरा निवेश होगा। यदि आप एक बड़ी टीम हैं जो APIs पर महीने के $5,000 खर्च करती है, तो $51,000 वाला बिल्ड पूरी तरह से सही है।

क्या आपने कोई लोकल रिग बनाया है? मुझे कमेंट्स में अपना अनुभव बताएं।

स्रोत: https://dev.to/sar_007/i-ran-the-numbers-on-building-a-40k-local-llm-rig-heres-when-it-actually-makes-sense-3bef

वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi