আমি একটি ৪০ হাজার ডলারের লোকাল LLM রিগ নিয়ে হিসাব-নিকাশ করেছি

ক্লাউড প্রোভাইডারদের কাছ থেকে বুদ্ধিমত্তা ভাড়া নেওয়া বন্ধ করুন। এটি নিজের করে নিতে শুরু করুন।

আমি প্রতি মাসে OpenAI এবং Anthropic-এর জন্য ৭০ ডলার খরচ করি। বছরে এটি হয় ৮৪০ ডলার। আমি ২০২৩ সাল থেকে এটি করে আসছি। রোবটের সাথে চ্যাট করার জন্য আমি একটি ব্যবহৃত গাড়ির সমপরিমাণ টাকা দিয়ে ফেলেছি।

Jamesob-এর একটি সাম্প্রতিক গাইড শীর্ষ মডেলগুলো লোকালি চালানোর পরামর্শ দেয়। তিনি দাবি করেন যে, ৪০,০০০ ডলারের হার্ডওয়্যার দিয়ে আপনি Claude Opus-এর কাছাকাছি পারফরম্যান্স পেতে পারেন।

আমি খরচগুলো বিশ্লেষণ করেছি। লোকাল LLM রিগ সম্পর্কে আসল সত্যটি এখানে দেওয়া হলো।

৫১,৭০০ ডলারের বিল্ড এই সেটআপটিতে চারটি NVIDIA RTX PRO 6000 GPU ব্যবহার করা হয়েছে। • মোট VRAM: ৩৮৪GB • সক্ষমতা: GLM-5.2 এর মতো বিশাল মডেলগুলো প্রতি সেকেন্ডে ৮০ টোকেন গতিতে চালাতে পারে। • ব্যবহারের ক্ষেত্র: এটি টিম বা উচ্চ-পর্যায়ের এন্টারপ্রাইজ প্রয়োজনের জন্য। • অসুবিধা: আপনি যদি একা হন, তবে বিনিয়োগের টাকা উঠে আসতে অনেক সময় লাগবে।

২,০০০ ডলারের বিল্ড (সবচেয়ে সাশ্রয়ী ও কার্যকর) অধিকাংশ ডেভেলপারের জন্য এটিই সেরা পছন্দ। • হার্ডওয়্যার: দুটি ব্যবহৃত RTX 3090 GPU (মোট ৪৮GB VRAM)। • সক্ষমতা: Qwen3.6-27B এবং Whisper-large-v3 চালাতে পারে। • সুবিধা: কোডিং এবং রিজনিংয়ের ক্ষেত্রে এটি GPT-4-এর সাথে পাল্লা দিতে পারে। • লাভ: আপনি যদি প্রতি মাসে API-তে ৫০০ ডলার খরচ করেন, তবে ৪ মাসের মধ্যেই এই খরচ উঠে আসবে।

কেন লোকালি বিল্ড করবেন? • গোপনীয়তা: থার্ড পার্টিতে IP ফাঁস না করেই মডেলের মাধ্যমে কোড পাঠাতে পারবেন। • নির্ভরযোগ্যতা: ChatGPT ডাউন থাকলে বা রেট লিমিটে পৌঁছালে আপনার মডেল কাজ করবে। • স্বাধীনতা: অতিরিক্ত খরচ ছাড়াই হাজার হাজার পরীক্ষামূলক প্রম্পট চালাতে পারবেন।

যা খেয়াল রাখতে হবে AMD একটি শক্তিশালী প্রতিযোগী হয়ে উঠছে। MI355X দাবি করে যে এটি NVIDIA-এর চেয়ে কম খরচে সুবিধা দেয়। এর সফটওয়্যার ব্যবহার করা কিছুটা কঠিন, তবে সাশ্রয় অনেক বেশি।

বাস্তব পরিস্থিতি লোকাল বিল্ডগুলো সরাসরি 'প্লাগ-অ্যান্ড-প্লে' নয়। আপনাকে এগুলো সামলাতে হবে:

  • জটিল BIOS সেটিংস।
  • কার্নেল প্যারামিটার এবং সিকিউরিটি ট্রেড-অফ।
  • প্রচুর বিদ্যুৎ খরচ যা আপনার বাড়ির সার্কিট ট্রিপ করতে পারে।

আমার পরামর্শ: আপনি যদি একজন স্বতন্ত্র ডেভেলপার হন, তবে ব্যবহৃত RTX 3090 কিনুন। ২,০০০ ডলারের বিল্ডটি আপনার করা সবচেয়ে বুদ্ধিদীপ্ত বিনিয়োগ হবে। আর আপনি যদি একটি বড় টিম হন এবং প্রতি মাসে API-তে ৫,০০০ ডলার খরচ করেন, তবে ৫১,০০০ ডলারের বিল্ডটি একদম সঠিক সিদ্ধান্ত।

আপনি কি কোনো লোকাল রিগ তৈরি করেছেন? কমেন্টে আপনার অভিজ্ঞতা জানান।

Source: https://dev.to/sar_007/i-ran-the-numbers-on-building-a-40k-local-llm-rig-heres-when-it-actually-makes-sense-3bef

Optional learning community: https://t.me/GyaanSetuAi