Tại sao các doanh nghiệp Philippines đang chuyển sang các Mô hình Ngôn ngữ Nhỏ (SLM)
Đến năm 2026, 78% khối lượng công việc AI của doanh nghiệp sẽ chạy trên các mô hình dưới 10 tỷ tham số. Đây là một bước nhảy vọt so với mức 31% vào năm 2024.
Các doanh nghiệp Philippines đang dần rời xa các mô hình biên (frontier models) khổng lồ. Thay vào đó, họ đang lựa chọn các Mô hình Ngôn ngữ Nhỏ (SLM). Sự chuyển dịch này giải quyết được ba vấn đề: chi phí, tốc độ và luật dữ liệu.
Sự khác biệt về chi phí
Các mô hình biên có chi phí từ 0,50 USD đến 15 USD cho mỗi triệu token. Một doanh nghiệp BPO quy mô trung bình có thể chi hàng trăm nghìn đô la mỗi tháng cho các lượt gọi API này.
SLM thay đổi bài toán kinh tế. Một mô hình 7B được tinh chỉnh (fine-tuned) trên một GPU duy nhất có chi phí khoảng 0,08 USD cho mỗi triệu token. Điều đó giúp giảm 85% chi phí.
Yếu tố tốc độ
Các mô hình đám mây lớn mất từ 800 đến 2.000 mili giây để phản hồi. SLM phản hồi trong khoảng 50 đến 200 mili giây trên phần cứng tại chỗ. Đối với các trợ lý giọng nói (voice agents) và phát hiện gian lận, tốc độ là tất cả.
Chủ quyền dữ liệu và Luật pháp
Ngân hàng Trung ương Philippines (Bangko Sentral ng Pilipinas) yêu cầu các tổ chức tài chính phải lưu trữ dữ liệu tại địa phương và có thể kiểm chứng được. Các mô hình lớn có trụ sở tại Mỹ thường không vượt qua được các bài kiểm tra này vì dữ liệu bị chuyển ra khỏi quốc gia.
Các SLM tự lưu trữ (self-hosted) sẽ nằm trong trung tâm dữ liệu của bạn. Bạn sở hữu các nhật ký (logs). Bạn kiểm soát tính bảo mật.
Ba trường hợp sử dụng chính tại Philippines
- Hoạt động BPO: Một doanh nghiệp BPO tại Metro Manila đã cắt giảm chi phí từ 0,012 USD xuống còn 0,0018 USD cho mỗi lượt tương tác bằng cách sử dụng mô hình 8B.
- Ngân hàng: Các ngân hàng sử dụng SLM để xử lý tài liệu bằng tiếng Tagalog và Cebuano. Những mô hình này vượt qua các mô hình tổng quát về độ chính xác ngôn ngữ địa phương lên tới 22%.
- Y tế: Bệnh viện Tổng quát Philippines (Philippine General Hospital) sử dụng một SLM tại chỗ (on-premise) để xử lý 40% các câu hỏi thường gặp của bệnh nhân.
Thách thức
SLM không dễ để vận hành. Chúng cần nhân tài MLOps để tinh chỉnh và giám sát. Hiện tại, chưa đến 5% trong số 1,7 triệu lao động IT-BPM tại Philippines có kinh nghiệm này.
Cách quyết định xem bạn có cần SLM hay không:
- Nhiệm vụ của bạn có phạm vi hẹp và khối lượng lớn không? Hãy dùng SLM.
- Dữ liệu của bạn có nhạy cảm hoặc bị kiểm soát chặt chẽ không? Hãy dùng SLM.
- Bạn có đội ngũ MLOps không? Nếu không, hãy tiếp tục sử dụng API vào lúc này.
Tương lai của AI tại Philippines không phải là các mô hình lớn hơn. Đó là các mô hình nhỏ hơn, nhanh hơn và được kiểm soát tại địa phương.
Source: https://dev.to/yanoai/why-philippine-enterprises-are-quietly-switching-to-small-language-models-4hek
Optional learning community: https://t.me/GyaanSetuAi