ਮੈਂ $40K ਦੇ ਲੋਕਲ LLM ਰਿਗ ਦੇ ਅੰਕੜਿਆਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕੀਤਾ
ਕਲਾਉਡ ਪ੍ਰੋਵਾਈਡਰਾਂ ਤੋਂ ਬੁੱਧੀ (intelligence) ਕਿਰਾਏ 'ਤੇ ਲੈਣਾ ਬੰਦ ਕਰੋ। ਇਸ ਦੇ ਮਾਲਕ ਬਣਨਾ ਸ਼ੁਰੂ ਕਰੋ।
ਮੈਂ OpenAI ਅਤੇ Anthropic 'ਤੇ ਹਰ ਮਹੀਨੇ $70 ਖਰਚ ਕਰਦਾ ਹਾਂ। ਇਹ ਸਾਲਾਨਾ $840 ਬਣਦੇ ਹਨ। ਮੈਂ 2023 ਤੋਂ ਅਜਿਹਾ ਕਰ ਰਿਹਾ ਹਾਂ। ਮੈਂ ਸਿਰਫ਼ ਰੋਬੋਟਾਂ ਨਾਲ ਗੱਲਬਾਤ ਕਰਨ ਲਈ ਇੱਕ ਪੁਰਾਣੀ ਕਾਰ ਦੀ ਕੀਮਤ ਭਰੀ ਹੈ।
Jamesob ਦੀ ਇੱਕ ਤਾਜ਼ਾ ਗਾਈਡ ਸੁਝਾਅ ਦਿੰਦੀ ਹੈ ਕਿ ਚੋਟੀ ਦੇ ਮਾਡਲਾਂ ਨੂੰ ਲੋਕਲ ਤੌਰ 'ਤੇ ਚਲਾਇਆ ਜਾਵੇ। ਉਸ ਦਾ ਦਾਅਵਾ ਹੈ ਕਿ ਤੁਸੀਂ $40,000 ਦੇ ਹਾਰਡਵੇਅਰ ਨਾਲ Claude Opus ਦੇ ਨੇੜੇ ਦੀ ਪ੍ਰਦਰਸ਼ਨੀ (performance) ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ।
ਮੈਂ ਲਾਗਤਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕੀਤਾ। ਲੋਕਲ LLM ਰਿਗ ਬਾਰੇ ਸੱਚਾਈ ਇਹ ਹੈ।
$51,700 ਵਾਲਾ ਬਿਲਡ
ਇਹ ਸੈੱਟਅੱਪ ਚਾਰ NVIDIA RTX PRO 6000 GPUs ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। • ਕੁੱਲ VRAM: 384GB • ਸਮਰੱਥਾ: GLM-5.2 ਵਰਗੇ ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ 80 tokens ਪ੍ਰਤੀ ਸੈਕਿੰਡ ਦੀ ਰਫ਼ਤਾਰ ਨਾਲ ਚਲਾਉਂਦਾ ਹੈ। • ਵਰਤੋਂ ਦਾ ਮਕਸਦ: ਇਹ ਟੀਮਾਂ ਜਾਂ ਉੱਚ-ਪੱਧਰੀ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਲੋੜਾਂ ਲਈ ਹੈ। • ਮੁੱਖ ਚੁਣੌਤੀ: ਜੇਕਰ ਤੁਸੀਂ ਇਕੱਲੇ ਵਿਅਕਤੀ ਹੋ, ਤਾਂ ਇਸ ਦੀ ਲਾਗਤ ਕੱਢਣ (break even) ਵਿੱਚ ਬਹੁਤ ਸਮਾਂ ਲੱਗਦਾ ਹੈ।
$2,000 ਵਾਲਾ ਬਿਲਡ (ਸਭ ਤੋਂ ਵਧੀਆ ਵਿਕਲਪ)
ਇਹ ਜ਼ਿਆਦਾਤਰ ਡਿਵੈਲਪਰਾਂ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਚੋਣ ਹੈ। • ਹਾਰਡਵੇਅਰ: ਦੋ ਵਰਤੇ ਹੋਏ RTX 3090 GPUs (ਕੁੱਲ 48GB VRAM)। • ਸਮਰੱਥਾ: Qwen3.6-27B ਅਤੇ Whisper-large-v3 ਨੂੰ ਚਲਾਉਂਦਾ ਹੈ। • ਫਾਇਦਾ: ਇਹ ਕੋਡਿੰਗ ਅਤੇ ਤਰਕ (reasoning) ਲਈ GPT-4 ਦੇ ਮੁਕਾਬਲੇ ਕਰ ਸਕਦਾ ਹੈ। • ਵਾਪਸੀ: ਜੇਕਰ ਤੁਸੀਂ APIs 'ਤੇ $500/ਮਹੀਨਾ ਖਰਚ ਕਰਦੇ ਹੋ, ਤਾਂ ਇਹ 4 ਮਹੀਨਿਆਂ ਵਿੱਚ ਆਪਣੀ ਕੀਮਤ ਕੱਢ ਲੈਂਦਾ ਹੈ।
ਲੋਕਲ ਤੌਰ 'ਤੇ ਕਿਉਂ ਬਣਾਇਆ ਜਾਵੇ?
• ਪ੍ਰਾਈਵੇਸੀ: ਆਪਣੀ IP (ਬੌਧਿਕ ਸੰਪੱਤੀ) ਨੂੰ ਤੀਜੀ ਧਿਰਾਂ ਨੂੰ ਲੀਕ ਕੀਤੇ ਬਿਨਾਂ ਮਾਡਲ ਰਾਹੀਂ ਕੋਡ ਭੇਜੋ। • ਭਰੋਸੇਯੋਗਤਾ: ਜਦੋਂ ChatGPT ਬੰਦ ਹੋ ਜਾਂਦਾ ਹੈ ਜਾਂ ਰੇਟ ਲਿਮਿਟਾਂ (rate limits) 'ਤੇ ਪਹੁੰਚ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਤੁਹਾਡਾ ਮਾਡਲ ਕੰਮ ਕਰਦਾ ਰਹਿੰਦਾ ਹੈ। • ਆਜ਼ਾਦੀ: ਵਾਧੂ ਖਰਚਿਆਂ ਤੋਂ ਬਿਨਾਂ ਹਜ਼ਾਰਾਂ ਪ੍ਰਯੋਗਸ਼ੀਲ ਪ੍ਰੋਂਪਟ (experimental prompts) ਚਲਾਓ।
ਕਿਸ ਚੀਜ਼ ਦਾ ਧਿਆਨ ਰੱਖਣਾ ਹੈ
AMD ਇੱਕ ਗੰਭੀਰ ਖਿਡਾਰੀ ਬਣ ਰਿਹਾ ਹੈ। MI355X ਦਾ ਦਾਅਵਾ ਹੈ ਕਿ ਇਹ NVIDIA ਨਾਲੋਂ ਘੱਟ ਲਾਗਤ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਸਦਾ ਸਾਫਟਵੇਅਰ ਵਰਤਣਾ ਔਖਾ ਹੈ, ਪਰ ਬਚਤ ਵੱਡੀ ਹੈ।
ਅਸਲੀਅਤ ਦੀ ਜਾਂਚ
ਲੋਕਲ ਬਿਲਡ 'ਪਲੱਗ-ਐਂਡ-ਪਲੇ' ਨਹੀਂ ਹੁੰਦੇ। ਤੁਹਾਨੂੰ ਇਹ ਸੰਭਾਲਣਾ ਪਵੇਗਾ:
- ਗੁੰਝਲਦਾਰ BIOS ਸੈਟਿੰਗਾਂ।
- ਕਰਨਲ ਪੈਰਾਮੀਟਰ (Kernel parameters) ਅਤੇ ਸੁਰੱਖਿਆ ਸਮਝੌਤੇ।
- ਭਾਰੀ ਬਿਜਲੀ ਦੀ ਖਪਤ ਜੋ ਤੁਹਾਡੇ ਘਰ ਦੇ ਸਰਕਟ ਨੂੰ ਟਰਿਪ ਕਰ ਸਕਦੀ ਹੈ।
ਮੇਰੀ ਸਲਾਹ: ਜੇਕਰ ਤੁਸੀਂ ਇੱਕ ਵਿਅਕਤੀਗਤ ਡਿਵੈਲਪਰ ਹੋ, ਤਾਂ ਵਰਤੇ ਹੋਏ RTX 3090s ਖਰੀਦੋ। $2,000 ਵਾਲਾ ਬਿਲਡ ਤੁਹਾਡੇ ਲਈ ਸਭ ਤੋਂ ਸਿਆਣੀ ਖਰੀਦ ਹੋਵੇਗੀ। ਜੇਕਰ ਤੁਸੀਂ ਇੱਕ ਵੱਡੀ ਟੀਮ ਹੋ ਜੋ APIs 'ਤੇ ਮਹੀਨਾ $5,000 ਖਰਚ ਕਰਦੀ ਹੈ, ਤਾਂ $51,000 ਵਾਲਾ ਬਿਲਡ ਬਿਲਕੁਲ ਸਹੀ ਹੈ।
ਕੀ ਤੁਸੀਂ ਕੋਈ ਲੋਕਲ ਰਿਗ ਬਣਾਇਆ ਹੈ? ਮੈਨੂੰ ਕੁਮੈਂਟਸ ਵਿੱਚ ਆਪਣਾ ਅਨੁਭਵ ਦੱਸੋ।
ਵਿਕਲਪਿਕ ਸਿੱਖਣ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi