میں نے 40 ہزار ڈالر کے لوکل LLM Rig کے اعداد و شمار کا جائزہ لیا
کلاؤڈ فراہم کنندگان سے ذہانت کرایے پر لینا بند کریں۔ اس کے مالک بننا شروع کریں۔
میں ہر ماہ OpenAI اور Anthropic پر 70 ڈالر خرچ کرتا ہوں۔ یہ سالانہ 840 ڈالر بنتے ہیں۔ میں 2023 سے ایسا کر رہا ہوں۔ میں نے صرف روبوٹس سے بات چیت کرنے کے لیے ایک پرانی کار کی قیمت ادا کر دی ہے۔
Jamesob کی ایک حالیہ گائیڈ میں ٹاپ ماڈلز کو مقامی طور پر (locally) چلانے کی تجویز دی گئی ہے۔ ان کا دعویٰ ہے کہ آپ 40,000 ڈالر کے ہارڈ ویئر کے ساتھ Claude Opus کے قریب کارکردگی حاصل کر سکتے ہیں۔
میں نے اخراجات کا تجزیہ کیا۔ لوکل LLM rigs کے بارے میں حقیقت یہ ہے۔
51,700 ڈالر والا سیٹ اپ (Build)
یہ سیٹ اپ چار NVIDIA RTX PRO 6000 GPUs استعمال کرتا ہے۔ • کل VRAM: 384GB • صلاحیت: GLM-5.2 جیسے بڑے ماڈلز کو 80 tokens فی سیکنڈ کی رفتار سے چلاتا ہے۔ • استعمال کا مقصد: یہ ٹیموں یا بڑے پیمانے پر کاروباری ضروریات کے لیے ہے۔ • اصل مسئلہ: اگر آپ اکیلے ہیں تو اس کی لاگت برابر کرنے (break even) میں بہت وقت لگتا ہے۔
2,000 ڈالر والا سیٹ اپ (بہترین انتخاب)
یہ زیادہ تر ڈویلپرز کے لیے بہترین انتخاب ہے۔ • ہارڈ ویئر: دو استعمال شدہ RTX 3090 GPUs (کل 48GB VRAM)۔ • صلاحیت: Qwen3.6-27B اور Whisper-large-v3 چلاتا ہے۔ • فائدہ: یہ کوڈنگ اور منطقی سوچ (reasoning) کے لیے GPT-4 کا مقابلہ کرتا ہے۔ • واپسی: اگر آپ APIs پر ماہانہ 500 ڈالر خرچ کرتے ہیں، تو یہ 4 ماہ میں اپنی قیمت نکال لیتا ہے۔
مقامی طور پر (locally) کیوں بنائیں؟
• پرائیویسی: اپنا IP تیسرے فریق کو ظاہر کیے بغیر ماڈل کے ذریعے کوڈ بھیجیں۔ • بھروسہ مندی: جب ChatGPT بند ہو جائے یا ریٹ لمٹس (rate limits) کا سامنا کرے تو آپ کا ماڈل کام کرتا رہے گا۔ • آزادی: اضافی اخراجات کے بغیر ہزاروں تجرباتی پرامپٹس (prompts) چلائیں۔
کن باتوں کا خیال رکھیں
AMD ایک سنجیدہ کھلاڑی بن رہا ہے۔ MI355X کا دعویٰ ہے کہ یہ NVIDIA کے مقابلے میں کم لاگت فراہم کرتا ہے۔ اس کا سافٹ ویئر استعمال کرنا مشکل ہے، لیکن بچت بہت زیادہ ہے۔
حقیقت کا جائزہ
لوکل بلڈز "پلاگ اینڈ پلے" نہیں ہوتے۔ آپ کو ان چیزوں کو سنبھالنا ہوگا:
- پیچیدہ BIOS سیٹنگز۔
- کرنل پیرامیٹرز اور سیکیورٹی کے توازن (tradeoffs)۔
- بجلی کا زیادہ استعمال جو آپ کے گھر کے سرکٹ کو ٹرپ کر سکتا ہے۔
میرا مشورہ:
اگر آپ ایک انفرادی ڈویلپر ہیں، تو استعمال شدہ RTX 3090s خریدیں۔ 2,000 ڈالر والا سیٹ اپ آپ کی سب سے عقلمندانہ خریداری ہو سکتی ہے۔ اگر آپ ایک بڑی ٹیم ہیں جو APIs پر ماہانہ 5,000 ڈالر خرچ کر رہی ہے، تو 51,000 ڈالر والا سیٹ اپ بالکل درست فیصلہ ہے۔
کیا آپ نے کوئی لوکل رگ (rig) بنایا ہے؟ کمنٹس میں اپنا تجربہ بتائیں۔
اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi