لقد أجريت الحسابات لبناء جهاز محلي لتشغيل النماذج اللغوية الكبيرة (LLM) بقيمة 40 ألف دولار

توقف عن استئجار الذكاء من مزودي الخدمات السحابية. ابدأ بامتلاكه.

أنفق 70 دولارًا كل شهر على OpenAI وAnthropic. هذا يعني 840 دولارًا في السنة. لقد استمررت في ذلك منذ عام 2023. لقد دفعت ثمن سيارة مستعملة فقط للدردشة مع الروبوتات.

يقترح دليل حديث من Jamesob تشغيل أفضل النماذج محليًا. ويدعي أنه يمكنك الحصول على أداء قريب من Claude Opus باستخدام أجهزة بقيمة 40,000 دولار.

لقد قمت بتحليل التكاليف. إليكم الحقيقة حول أجهزة الـ LLM المحلية.

بناء بتكلفة 51,700 دولار يستخدم هذا الإعداد أربع بطاقات رسومية NVIDIA RTX PRO 6000. • إجمالي ذاكرة الفيديو (VRAM): 384 جيجابايت • القدرة: تشغيل نماذج ضخمة مثل GLM-5.2 بسرعة 80 توكن في الثانية. • حالة الاستخدام: هذا مخصص للفرق أو احتياجات الشركات ذات النطاق الواسع. • العقبة: يستغرق الأمر وقتًا طويلاً لاسترداد التكاليف إذا كنت شخصًا واحدًا فقط.

بناء بتكلفة 2,000 دولار (الخيار الأمثل) هذا هو الخيار الأفضل لمعظم المطورين. • الأجهزة: بطاقتان مستعملتان من نوع RTX 3090 (بإجمالي 48 جيجابايت VRAM). • القدرة: تشغيل Qwen3.6-27B وWhisper-large-v3. • الميزة: ينافس GPT-4 في البرمجة والاستنتاج. • استرداد التكلفة: إذا كنت تنفق 500 دولار شهريًا على واجهات برمجة التطبيقات (APIs)، فسيغطي الجهاز تكلفته في غضون 4 أشهر.

لماذا تبني جهازًا محليًا؟ • الخصوصية: إرسال الكود عبر النموذج دون تسريب الملكية الفكرية (IP) إلى أطراف ثالثة. • الموثوقية: يعمل نموذجك عندما يتوقف ChatGPT عن العمل أو يصل إلى حدود الاستخدام. • الحرية: تشغيل آلاف الأوامر (prompts) التجريبية دون تكاليف إضافية.

ما يجب الحذر منه أصبحت AMD لاعبًا جديًا. تدعي MI355X تقديم تكاليف أقل من NVIDIA. البرمجيات أصعب في الاستخدام، لكن التوفير كبير.

مراجعة الواقع البناء المحلي ليس بنظام "وصّل وشغّل". يجب عليك التعامل مع:

  • إعدادات BIOS المعقدة.
  • معاملات النواة (Kernel parameters) والمقايضات الأمنية.
  • استهلاك الطاقة العالي الذي قد يؤدي إلى فصل قواطع الكهرباء في منزلك.

نصيحتي: إذا كنت مطورًا فرديًا، فاشترِ بطاقات RTX 3090 مستعملة. بناء الـ 2,000 دولار هو أذكى عملية شراء يمكنك القيام بها. أما إذا كنت فريقًا كبيرًا ينفق 5,000 دولار شهريًا على واجهات برمجة التطبيقات (APIs)، فإن بناء الـ 51,000 دولار منطقي تمامًا.

هل قمت ببناء جهاز محلي؟ أخبرني بتجربتك في التعليقات.

Source: https://dev.to/sar_007/i-ran-the-numbers-on-building-a-40k-local-llm-rig-heres-when-it-actually-makes-sense-3bef

Optional learning community: https://t.me/GyaanSetuAi