𝗜 𝗥𝗮𝗻 𝟭𝟬 𝗔𝗜 𝗠𝗼𝗱𝗲𝗹𝘀 𝗧𝗵𝗿𝗼𝘂𝗴𝗵 𝟱 𝗖𝗼𝗱𝗶𝗻𝗴 𝗧𝗮𝘀𝗸𝘀
আমি ৫টি কোডিং টাস্কের মাধ্যমে ১০টি AI মডেল পরীক্ষা করেছি।
২০২৬ সালের জন্য সেরা কোডিং AI মডেলগুলো খুঁজে বের করতে আমি তিন দিনের একটি বেঞ্চমার্ক চালিয়েছি। আমি ৫টি ভিন্ন কোডিং টাস্কের মাধ্যমে ১০টি মডেল পরীক্ষা করেছি। আমি দেখতে চেয়েছিলাম যে উচ্চমূল্য কি উন্নত কোড নিশ্চিত করে কি না।
আমি ৫০টি স্কোরযুক্ত ইন্টারঅ্যাকশন ব্যবহার করেছি। আমি নির্ভুলতা (correctness), কোডের মান (code quality), ডকুমেন্টেশন এবং এজ কেস (edge cases) পর্যবেক্ষণ করেছি।
আমি যে মডেলগুলো পরীক্ষা করেছি:
- DeepSeek V4 Flash ($0.25)
- DeepSeek Coder ($0.25)
- Qwen3-Coder-30B ($0.35)
- DeepSeek-R1 ($2.50)
- Kimi K2.5 ($3.00)
- (এবং আরও ৫টি)
ফলাফলসমূহ:
- Qwen3-Coder-30B: 8.8 স্কোর ($0.35)
- DeepSeek V4 Flash: 8.7 স্কোর ($0.25)
- DeepSeek Coder: 8.6 স্কোর ($0.25)
- DeepSeek-R1: 9.4 স্কোর ($2.50)
- Kimi K2.5: 9.0 স্কোর ($3.00)
মূল ফলাফলসমূহ:
- দাম মানেই গুণমান নয়। দাম এবং স্কোরের মধ্যে সম্পর্ক খুবই সামান্য।
- দামী মডেলগুলোর জন্য আপনাকে অতিরিক্ত খরচ (luxury tax) দিতে হয়। Kimi K2.5 এর দাম DeepSeek V4 Flash এর চেয়ে ১২ গুণ বেশি, কিন্তু এর স্কোর মাত্র ০.৩ পয়েন্ট বেশি।
- কঠিন কাজের ক্ষেত্রে reasoning মডেলগুলো জয়ী হয়। DeepSeek-R1 জটিল অ্যালগরিদম এবং সিকিউরিটি রিভিউতে পারদর্শী। গভীর লজিক্যাল কাজের জন্য এর উচ্চমূল্য সার্থক।
- দৈনন্দিন কাজের জন্য সস্তা মডেলগুলো সেরা। DeepSeek V4 Flash এবং Qwen3-Coder-30B ডিবাগিং এবং সাধারণ ফাংশনের জন্য উপযুক্ত।
টাস্কের বিস্তারিত বিবরণ:
- Python Recursion: নিখুঁত বিশ্লেষণের মাধ্যমে DeepSeek-R1 জয়ী হয়েছে।
- JavaScript Bug Fix: সেরা ভ্যালু বা সাশ্রয়ী হিসেবে DeepSeek V4 Flash এবং Qwen3-Coder-30B সমানে সমান।
- TypeScript Algorithms: DeepSeek-R1 সেরা টাইপ সেফটি (type safety) প্রদান করেছে।
- Go Security Review: DeepSeek-R1 সমস্ত সমস্যা খুঁজে পেয়েছে এবং টেস্ট করার পরামর্শ দিয়েছে।
সোশ্যাল মিডিয়ার হাইপ অনুসরণ করা বন্ধ করুন। আপনার টুল বেছে নিতে ডেটা বা তথ্য ব্যবহার করুন। যদি আপনার প্রতিদিনের কাজের জন্য একটি মডেল প্রয়োজন হয়, তবে সস্তা এবং উচ্চ স্কোর পাওয়া মডেলগুলো বেছে নিন। আর যদি কঠিন গণিত বা লজিক্যাল সমস্যা সমাধান করতে হয়, তবে একটি reasoning মডেল ব্যবহার করুন।
উৎস: https://dev.to/rarenode/i-ran-10-ai-models-through-5-coding-tasks-heres-the-full-data-4ie6
ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi