𝗥𝗔𝗠 হলো নতুন 𝗚𝗣𝗨
বছরের পর বছর ধরে, AI ডেভেলপাররা একটি জিনিসের ওপরই মনোযোগ দিয়েছেন: কম্পিউট স্পিড (compute speed)। আপনি CUDA কোর এবং ক্লক স্পিড দেখতেন।
সেই যুগ শেষ।
নতুন বটলনেক (bottleneck) হলো মেমরি ক্যাপাসিটি।
একটি 70-বিলিয়ন-প্যারামিটার মডেল ভালোভাবে চালানোর জন্য মোটামুটি 48 থেকে 50 GB মেমরির প্রয়োজন। Nvidia RTX 5090-এ মাত্র 32 GB আছে।
হিসাবটা সহজ। যদি আপনার মডেলের ওয়েটস (weights) VRAM-এ না ধরে, তবে আপনি প্রতি সেকেন্ডে শূন্য টোকেন পাবেন। মডেল লোড হতে না পারলে স্পিড কোনো কাজে আসে না।
হার্ডওয়্যার তুলনা করুন:
• RTX 5090: প্রতি GB-তে $62.47 হিসেবে 32 GB VRAM। • Mac Studio M3 Ultra: প্রতি GB-তে $18.55 হিসেবে 512 GB মেমরি।
Mac Studio ১৬ গুণ বেশি ক্যাপাসিটি প্রদান করে এবং প্রতি গিগাবাইট হিসেবে খরচ ৩.৪ গুণ কম।
মূল পার্থক্যটি আর্কিটেকচারের কারণে। Nvidia ডিসক্রিট (discrete) VRAM ব্যবহার করে। ডেটাকে একটি ব্রিজের মাধ্যমে CPU এবং GPU-এর মধ্যে মুভ করতে হয়। মডেলগুলো বড় হয়ে গেলে এটি সবকিছু ধীর করে দেয়।
Apple ইউনিফাইড মেমরি (unified memory) ব্যবহার করে। CPU এবং GPU একই ফিজিক্যাল স্পেস শেয়ার করে। ডেটা এদিক-সেদিক মুভ করার প্রয়োজন হয় না। ডেটা ইতিমধ্যেই সেখানে থাকে।
এটি আপনার কাজের ধারা (workflow) বদলে দেয়:
- কোনো ডিভাইস ম্যাপিং নয়।
- কোনো জটিল ডিস্ট্রিবিউশন ফ্ল্যাগ নয়।
- মাল্টি-GPU সংক্রান্ত কোনো মাথাব্যথা নয়।
আপনি যদি একটি 70B মডেল চালাতে চান, তবে RTX 5090 ব্যর্থ হবে। Mac Studio কাজ করবে।
আপনি যদি DeepSeek V3 চালাতে চান, তবে RTX 5090 আটকে যাবে। Mac Studio এটি অনায়াসেই লোড করতে পারবে।
পছন্দ এখন পরিষ্কার:
- যদি আপনার মডেল 32 GB-এর নিচে হয়: Nvidia ব্যবহার করুন। ছোট মডেলের জন্য এটি দ্রুততর।
- যদি আপনার মডেল 32 GB-এর বেশি হয়: Mac Studio ব্যবহার করুন। বিশাল খরচ বা গুণমান হারানো ছাড়া Nvidia এই মডেলগুলো চালাতে পারে না।
বড় মডেলের জন্য একটি হাই-এন্ড Nvidia রিগ (rig) তৈরি করা প্রায়শই একটি ব্যয়বহুল উইকেন্ড প্রজেক্টে পরিণত হয়। টিকে থাকার জন্য আপনাকে শেষ পর্যন্ত একাধিক GPU এবং কাস্টম কুলিং কিনতে হয়।
একটি Mac Studio আপনার ডেস্কে রাখা যায়। এটি কম বিদ্যুৎ খরচ করে এবং সাথে সাথেই কাজ শুরু করে।
কোন GPU সবচেয়ে দ্রুত তা জিজ্ঞেস করা বন্ধ করুন। বরং জিজ্ঞেস করুন কোন প্ল্যাটফর্মটি আসলে আপনার প্রয়োজনীয় মডেলগুলো চালাতে পারে।
আপনার সেটআপ এখন কোন পর্যায়ে? আপনি কি Nvidia ব্যবহার করছেন নাকি ইউনিফাইড মেমরিতে চলে গেছেন?
Source: https://dev.to/tyson_cung/ram-is-the-new-gpu-why-mac-studio-wins-for-local-llm-inference-3e3b
ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi