Dlaczego filipińskie przedsiębiorstwa przechodzą na małe modele językowe

Do 2026 roku 78% korporacyjnych obciążeń AI będzie działać na modelach o liczbie parametrów mniejszej niż 10 miliardów. To ogromny skok w porównaniu do 31% w 2024 roku.

Filipińskie firmy odchodzą od ogromnych modeli typu frontier. Zamiast tego wybierają małe modele językowe (SLM – Small Language Models). Ta zmiana rozwiązuje trzy problemy: koszty, szybkość i przepisy dotyczące danych.

Różnica w kosztach

Modele typu frontier kosztują od 0,50 do 15 USD za milion tokenów. Średniej wielkości firma BPO może wydawać sześciocyfrowe kwoty każdego miesiąca na te wywołania API.

SLM zmieniają rachunek ekonomiczny. Dostrojony (fine-tuned) model 7B na pojedynczym procesorze GPU kosztuje około 0,08 USD za milion tokenów. To redukcja kosztów o 85%.

Czynnik szybkości

Duże modele chmurowe potrzebują od 800 do 2000 milisekund na odpowiedź. SLM odpowiadają w czasie od 50 do 200 milisekund na lokalnym sprzęcie. W przypadku agentów głosowych i wykrywania oszustw szybkość jest kluczowa.

Suwerenność danych i przepisy prawne

Bangko Sentral ng Pilipinas wymaga od instytucji finansowych, aby dane były przechowywane lokalnie i podlegały audytowi. Duże modele oparte na infrastrukturze w USA często nie spełniają tych wymogów, ponieważ dane opuszczają kraj.

Samodzielnie hostowane modele SLM pozostają w Twoim centrum danych. Ty posiadasz logi. Ty kontrolujesz bezpieczeństwo.

Trzy główne przypadki użycia na Filipinach

  • Operacje BPO: Jedna firma BPO z Metro Manila obniżyła koszty z 0,012 USD do 0,0018 USD na interakcję, korzystając z modelu 8B.
  • Bankowość: Banki wykorzystują SLM do przetwarzania dokumentów w językach tagalskim i cebuańskim. Modele te przewyższają modele ogólne pod względem dokładności w lokalnych językach nawet o 22%.
  • Opieka zdrowotna: Philippine General Hospital wykorzystuje model SLM typu on-premise do obsługi 40% rutynowych zapytań pacjentów.

Wyzwanie

Uruchamianie SLM nie jest łatwe. Wymagają one specjalistów MLOps do ich dostrajania i monitorowania. Obecnie mniej niż 5% z 1,7 miliona pracowników sektora IT-BPM na Filipinach posiada takie doświadczenie.

Jak zdecydować, czy potrzebujesz SLM:

  • Czy Twoje zadanie jest wąskie i powtarzalne w dużej skali? Użyj SLM.
  • Czy Twoje dane są wrażliwe lub podlegają regulacjom? Użyj SLM.
  • Czy masz zespół MLOps? Jeśli nie, na razie pozostań przy API.

Przyszłość AI na Filipinach to nie większe modele. To modele mniejsze, szybsze i kontrolowane lokalnie.

Źródło: https://dev.to/yanoai/why-philippine-enterprises-are-quietly-switching-to-small-language-models-4hek

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi