Mistral Large বনাম Mistral Medium: প্রোডাকশন থেকে CTO-র নোটস
তিন মাস আগে, আমি একটি LLM ফিচার রিলিজ করেছিলাম। তারপর বিল এল।
আমি বুঝতে পারলাম যে আমি একটি ভুল করেছি। আমার Mistral Medium ব্যবহার করা উচিত ছিল, কিন্তু আমি Mistral Large ব্যবহার করেছি। এর ফলে আমাদের খরচ প্রয়োজনের তুলনায় প্রায় 4x বেশি হয়ে গেছে।
আপনি যদি একটি স্টার্টআপ চালান, তবে আপনি কেবল অনুমানের (vibes) ওপর ভিত্তি করে আর্কিটেকচার সংক্রান্ত সিদ্ধান্ত নিতে পারেন না। আপনাকে ROI-এর ওপর ভিত্তি করে সিদ্ধান্ত নিতে হবে।
ভুলটি খুব সাধারণ ছিল। আমি ভেবেছিলাম বড় মডেলগুলো সবসময়ই ভালো। আমি ভুল ছিলাম।
এখন আমি যেভাবে LLM খরচ নিয়ন্ত্রণ করি:
- কাজের জটিলতা শ্রেণীবদ্ধ করুন
- সাধারণ ক্লাসিফিকেশন বা এক্সট্রাকশনের জন্য ছোট মডেল ব্যবহার করুন।
- শুধুমাত্র মাল্টি-স্টেপ রিজনিংয়ের (multi-step reasoning) জন্য বড় মডেল ব্যবহার করুন।
- টোকেন ভলিউম অনুমান করুন
- আপনার লগ (logs) দেখুন।
- আপনার প্রবৃদ্ধির (growth) পূর্বাভাস দিন।
- ডেপ্লয় করার আগেই হিসাব করে নিন।
- বাস্তব ইভ্যালুয়েশনের (evals) মাধ্যমে পরিমাপ করুন
- নিজের অনুমানের ওপর ভরসা করবেন না।
- উভয় মডেলের মাধ্যমে টেস্ট সেটগুলো চালিয়ে দেখুন।
- আপনার প্রোডাক্টের জন্য গুরুত্বপূর্ণ মেট্রিক্সগুলো তুলনা করুন।
আমার ৭০% কাজের জন্য Mistral Medium-ই যথেষ্ট। এটি সাপোর্ট টিকিটের ক্লাসিফিকেশন নিখুঁতভাবে করতে পারে। এর খরচ Large-এর তুলনায় মাত্র এক-তৃতীয়াংশ। আমি উচ্চ-স্তরের রিজনিং কাজের জন্য Large মডেলটি সংরক্ষণ করি।
আমি ভেন্ডর লক-ইন (vendor lock-in) থেকেও বেঁচে থাকি। আমি অনেকগুলো মডেল অ্যাক্সেস করার জন্য একটি ইউনিফাইড এন্ডপয়েন্ট (unified endpoint) ব্যবহার করি। যদি কোনো প্রোভাইডার দাম বাড়িয়ে দেয়, আমি কয়েক মিনিটের মধ্যেই মডেল পরিবর্তন করতে পারি। এটি আমার রানওয়ে (runway) সুরক্ষিত রাখে।
CTO-দের জন্য আমার পরামর্শ:
- বিল কমাতে আগ্রাসীভাবে ক্যাশ (cache) ব্যবহার করুন।
- ইউজার এক্সপেরিয়েন্স উন্নত করতে রেসপন্স স্ট্রিম (stream) করুন।
- ফলব্যাক লজিক (fallback logic) তৈরি করুন যাতে আপনার সিস্টেম অনলাইন থাকে।
- প্রম্পট অপ্টিমাইজ করার আগেই মডেলটি বেছে নিন।
- প্রতিটি কাজের জন্য কনটেক্সট উইন্ডো (context window) প্রয়োজনীয়তা যাচাই করুন।
যে কাজে ছোট হাতুড়ি প্রয়োজন, সেখানে বড় হাতুড়ি ব্যবহার করা বন্ধ করুন। দক্ষতা প্রতিযোগিতামূলক সুবিধা তৈরি করে। এটি আপনাকে আপনার ব্যবহারকারীদের আরও উন্নত ফিচার এবং কম দামে সেবা দিতে সাহায্য করে।
উৎস: https://dev.to/gentlenode/mistral-large-vs-mistral-medium-cto-notes-from-production-280f