Không ai còn muốn mô hình 70B tham số của bạn nữa

Thế giới AI từng chỉ tập trung vào quy mô.

Mọi người chạy theo các mô hình lớn hơn, cửa sổ ngữ cảnh (context window) lớn hơn và các điểm chuẩn (benchmark) cao hơn. Nếu mô hình của bạn không khổng lồ, bạn sẽ không có chỗ đứng trong cuộc chơi.

Kỷ nguyên đó đang dần kết thúc.

Các mô hình khổng lồ rất ấn tượng. Nhưng hầu hết mọi người không cần sức mạnh lớn đến thế. Một trợ lý trên bảng điều khiển ô tô không cần phải biết làm thơ. Nó chỉ cần hiểu câu lệnh "hạ nhiệt độ điều hòa xuống" và hoạt động mà không làm cạn kiệt pin.

Các mô hình nhỏ, chuyên biệt đang chiếm ưu thế vì năm lý do chính:

  • Sử dụng trên thiết bị (On-device): Điện thoại hiện đã có phần cứng để chạy các mô hình nhỏ ngay tại chỗ. Trợ lý của bạn có thể hoạt động trong đường hầm hoặc trên chuyến bay mà không cần internet.
  • Quyền riêng tư và quy định: Các bệnh viện và công ty luật không thể gửi dữ liệu nhạy cảm đến một API của bên thứ ba. Việc chạy một mô hình nhỏ trên phần cứng nội bộ giúp giữ dữ liệu an toàn trong phạm vi tổ chức.
  • Độ trễ thấp: Một chiếc xe tự lái không thể chờ máy chủ đám mây quyết định xem một hình khối có phải là người đi bộ hay không. Mô hình phải tồn tại ngay tại nơi đưa ra quyết định.
  • Chi phí thấp hơn: Việc xử lý hàng triệu yêu cầu trên một mô hình khổng lồ sẽ bào mòn lợi nhuận của bạn. Một mô hình nhỏ được tinh chỉnh thường rẻ hơn và bền vững hơn.
  • Kết nối kém: Ở nhiều nơi trên thế giới, internet không phải lúc nào cũng ổn định. Các mô hình nhỏ cho phép sản phẩm hoạt động ngoại tuyến.

Bạn có thể làm cho các mô hình nhỏ hơn bằng ba phương pháp chính:

  • Quantization (Lượng tử hóa): Giảm độ chính xác của các trọng số mô hình để tiết kiệm không gian.
  • Pruning (Cắt tỉa): Loại bỏ các kết nối không cần thiết không mang lại giá trị.
  • Knowledge distillation (Chưng cất tri thức): Sử dụng một mô hình lớn để dạy một mô hình nhỏ hơn cách mô phỏng khả năng lập luận của nó.

Sự chuyển dịch này làm thay đổi bộ kỹ năng cần thiết.

Viết prompt cho một mô hình khổng lồ là một kỹ năng. Việc lựa chọn, tinh chỉnh (fine-tuning) và triển khai một mô hình chuyên biệt lại là một thách thức kỹ thuật khác. Đó là việc thực hiện các sự đánh đổi giữa tốc độ, chi phí và độ chính xác.

Đừng cố gắng xây dựng một công cụ khổng lồ làm mọi thứ một cách kém hiệu quả. Hãy xây dựng nhiều công cụ nhỏ thực hiện tốt một việc duy nhất.

Một mô hình nhỏ không phải là một sự hạ cấp. Nó là một công cụ tốt hơn cho công việc.

Nguồn: https://dev.to/blakcodes/nobody-wants-your-70b-parameter-model-anymore-56jo

Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi