Mistral Large بمقابلہ Mistral Medium: پروڈکشن سے CTO کے نوٹس

تین ماہ قبل، میں نے ایک LLM فیچر لانچ کیا۔ پھر بل موصول ہوا۔

مجھے احساس ہوا کہ مجھ سے غلطی ہوئی ہے۔ میں نے Mistral Large استعمال کیا جبکہ مجھے Mistral Medium استعمال کرنا چاہیے تھا۔ اس کی وجہ سے ہمیں ضرورت سے تقریباً 4 گنا زیادہ خرچہ اٹھانا پڑا۔

اگر آپ ایک اسٹارٹ اپ چلا رہے ہیں، تو آپ محض اندازوں (vibes) کی بنیاد پر آرکیٹیکچر کے فیصلے نہیں کر سکتے۔ آپ کو یہ فیصلے ROI کی بنیاد پر کرنے چاہئیں۔

غلطی سادہ سی تھی۔ میں نے سوچا تھا کہ بڑے ماڈلز ہمیشہ بہتر ہوتے ہیں۔ میں غلط تھا۔

اب میں LLM کے اخراجات کو اس طرح مینیج کرتا ہوں:

  1. کام کی پیچیدگی کی درجہ بندی کریں
  1. ٹوکن کے حجم کا تخمینہ لگائیں
  1. حقیقی ایویلیوایشنز (evals) کے ساتھ پیمائش کریں

میرے 70% کاموں کے لیے Mistral Medium کافی ہے۔ یہ سپورٹ ٹکٹ کی کلاسیفیکیشن کو بہترین طریقے سے سنبھال لیتا ہے۔ اس کی قیمت Large کے مقابلے میں صرف ایک تہائی ہے۔ میں Large کو اعلیٰ درجے کے استدلال (reasoning) والے کاموں کے لیے مخصوص رکھتا ہوں۔

میں وینڈر لاک-اِن (vendor lock-in) سے بھی بچتا ہوں۔ میں بہت سے ماڈلز تک رسائی کے لیے ایک متحدہ اینڈ پوائنٹ (unified endpoint) استعمال کرتا ہوں۔ اگر کوئی فراہم کنندہ قیمتیں بڑھاتا ہے، تو میں منٹوں میں ماڈلز تبدیل کر لیتا ہوں۔ یہ میرے 'رن وے' (runway) کی حفاظت کرتا ہے۔

CTOs کے لیے میری نصیحت:

ان کاموں کے لیے بڑا ہتھوڑا استعمال کرنا بند کریں جن کے لیے چھوٹے ہتھوڑے کی ضرورت ہو۔ کارکردگی (efficiency) مسابقتی فوائد پیدا کرتی ہے۔ یہ آپ کو اپنے صارفین کو بہتر فیچرز اور کم قیمتیں پیش کرنے کے قابل بناتی ہے۔

ذریعہ: https://dev.to/gentlenode/mistral-large-vs-mistral-medium-cto-notes-from-production-280f