Mistral Large در مقابل Mistral Medium: یادداشت‌های CTO از محیط عملیاتی

سه ماه پیش، یک قابلیت مبتنی بر LLM را عرضه کردم. سپس صورت‌حساب رسید.

متوجه شدم که اشتباه کرده‌ام. از Mistral Large استفاده کردم در حالی که باید از Mistral Medium استفاده می‌کردم. این کار تقریباً ۴ برابر بیشتر از آنچه لازم بود برای ما هزینه داشت.

اگر یک استارتاپ را اداره می‌کنید، نمی‌توانید تصمیمات معماری را بر اساس «حس و حال» (vibes) بگیرید. باید آن‌ها را بر اساس ROI اتخاذ کنید.

اشتباه ساده بود. فکر می‌کردم مدل‌های بزرگ‌تر همیشه بهتر هستند. اشتباه می‌کردم.

در حال حاضر، من هزینه‌های LLM را به این صورت مدیریت می‌کنم:

۱. طبقه‌بندی پیچیدگی وظایف

۲. تخمین حجم توکن‌ها

۳. اندازه‌گیری با ارزیابی‌های واقعی (evals)

برای ۷۰٪ از وظایف من، Mistral Medium کافی است. این مدل طبقه‌بندی تیکت‌های پشتیبانی را به شکلی عالی انجام می‌دهد. هزینه آن یک‌سوم هزینه‌ی مدل Large است. من مدل Large را برای وظایف استدلالی سطح بالا رزرو می‌کنم.

همچنین از وابستگی به یک فروشنده خاص (vendor lock-in) اجتناب می‌کنم. من از یک نقطه اتصال (endpoint) یکپارچه برای دسترسی به مدل‌های مختلف استفاده می‌کنم. اگر یکی از ارائه‌دهندگان قیمت‌ها را بالا ببرد، در عرض چند دقیقه مدل را تغییر می‌دهم. این کار از Runway (میزان نقدینگی موجود) من محافظت می‌کند.

توصیه من برای CTOها:

از استفاده از پتک برای کارهایی که به یک چکش کوچک نیاز دارند، دست بردارید. کارایی، مزیت رقابتی ایجاد می‌کند. این کار به شما اجازه می‌دهد ویژگی‌های بهتر و قیمت‌های پایین‌تری را به کاربران خود ارائه دهید.

منبع: https://dev.to/gentlenode/mistral-large-vs-mistral-medium-cto-notes-from-production-280f