چرا شرکت‌های فیلیپینی در حال تغییر به سمت مدل‌های زبانی کوچک هستند

تا سال ۲۰۲۶، ۷۸٪ از حجم کاری هوش مصنوعی در سازمان‌ها بر روی مدل‌هایی با کمتر از ۱۰ میلیارد پارامتر اجرا خواهد شد. این یک جهش عظیم نسبت به ۳۱٪ در سال ۲۰۲۴ است.

کسب‌وکارهای فیلیپینی در حال فاصله گرفتن از مدل‌های عظیم مرزی (frontier models) هستند. آن‌ها در عوض، مدل‌های زبانی کوچک (SLMs) را انتخاب می‌کنند. این تغییر سه مشکل را حل می‌کند: هزینه، سرعت و قوانین داده‌ها.

تفاوت در هزینه

مدل‌های مرزی بین ۰.۵۰ تا ۱۵ دلار به ازای هر میلیون توکن هزینه دارند. یک شرکت BPO متوسط می‌تواند هر ماه مبالغی شش‌رقمی را صرف این فراخوانی‌های API کند.

مدل‌های SLM محاسبات را تغییر می‌دهند. یک مدل 7B که روی یک GPU واحد تنظیم دقیق (fine-tuned) شده باشد، حدود ۰.۰۸ دلار به ازای هر میلیون توکن هزینه دارد. این یعنی ۸۵٪ کاهش هزینه.

فاکتور سرعت

مدل‌های بزرگ ابری ۸۰۰ تا ۲۰۰۰ میلی‌ثانیه برای پاسخگویی زمان می‌برند. SLMها روی سخت‌افزار محلی در ۵۰ تا ۲۰۰ میلی‌ثانیه پاسخ می‌دهند. برای عوامل صوتی و تشخیص کلاهبرداری، سرعت همه چیز است.

حاکمیت داده‌ها و قوانین

بانک مرکزی فیلیپین (Bangko Sentral ng Pilipinas) موسسات مالی را ملزم می‌کند که داده‌ها را به صورت محلی و قابل حسابرسی نگه دارند. مدل‌های بزرگ مستقر در ایالات متحده اغلب در این آزمون‌ها شکست می‌خورند، زیرا داده‌ها از کشور خارج می‌شوند.

مدل‌های SLM خودمیزبانی‌شده (Self-hosted) در مرکز داده شما باقی می‌مانند. شما مالک لاگ‌ها هستید و امنیت را کنترل می‌کنید.

سه مورد استفاده اصلی در فیلیپین

• عملیات BPO: یک شرکت BPO در مانیلا با استفاده از یک مدل 8B، هزینه‌ها را از ۰.۰۱۲ دلار به ۰.۰۰۱۸ دلار به ازای هر تعامل کاهش داد.
• بانکداری: بانک‌ها از SLMها برای پردازش اسناد به زبان‌های تاگالوگ و سيبوانو استفاده می‌کنند. این مدل‌ها در دقت زبان‌های محلی تا ۲۲٪ از مدل‌های عمومی بهتر عمل می‌کنند.
• مراقبت‌های بهداشتی: بیمارستان عمومی فیلیپین از یک SLM در محل (on-premise) برای مدیریت ۴۰٪ از پرسش‌های روتین بیماران استفاده می‌کند.

چالش

اجرای SLMها آسان نیست. آن‌ها برای تنظیم دقیق و نظارت، به استعدادهای MLOps نیاز دارند. در حال حاضر، کمتر از ۵٪ از ۱.۷ میلیون کارگر IT-BPM در فیلیپین این تجربه را دارند.

چگونه تصمیم بگیرید که آیا به یک SLM نیاز دارید یا خیر:

• آیا وظیفه شما محدود و با حجم بالا است؟ از SLM استفاده کنید.
• آیا داده‌های شما حساس یا تحت قوانین خاص هستند؟ از SLM استفاده کنید.
• آیا تیم MLOps دارید؟ اگر نه، فعلاً به استفاده از APIها بسنده کنید.

آینده هوش مصنوعی در فیلیپین مدل‌های بزرگ‌تر نیست؛ بلکه مدل‌های کوچک‌تر، سریع‌تر و با کنترل محلی است.

Source: https://dev.to/yanoai/why-philippine-enterprises-are-quietly-switching-to-small-language-models-4hek

Optional learning community: https://t.me/GyaanSetuAi