Sự sụt giảm giá 10 lần là một canh bạc về kiến trúc

Các kỹ sư dành hàng giờ để viết lại prompt nhằm tiết kiệm vài token. Nỗ lực này thường là vô ích.

Token không hề miễn phí, nhưng chi phí AI đang giảm quá nhanh. Chi phí cho một mức hiệu suất AI cụ thể giảm khoảng 10 lần mỗi năm. Điều này được gọi là LLMflation.

Dữ liệu cho thấy xu hướng này là có thật:

  • Chất lượng tương đương GPT-3 có giá 60 USD cho mỗi triệu token vào năm 2021.
  • Hiện tại chỉ tốn khoảng 0,06 USD khi sử dụng Llama 3.2 3B.
  • Đó là mức giảm 1.000 lần trong vòng ba năm.
  • Chi phí cho chất lượng tương đương GPT-3.5 đã giảm 280 lần chỉ trong 18 tháng.

Các mô hình tiên phong (frontier models) vẫn giữ mức giá cao. Nhưng các mô hình bạn dùng cho các tác vụ tiêu chuẩn đang giảm giá sâu liên tục. Nếu bạn tối ưu hóa dựa trên mức giá hiện tại, bạn đang tối ưu hóa cho một con số sẽ biến mất chỉ trong vài tháng tới.

Đừng tập trung vào các mẹo viết prompt. Hãy tập trung vào kiến trúc.

Hãy tuân thủ ba quy tắc sau để giành chiến thắng:

• Coi mô hình như một thành phần (component). Sử dụng một giao diện duy nhất cho đầu vào và đầu ra. Đừng mã hóa cứng (hard-code) các mô hình cụ thể vào ứng dụng của bạn. Điều này cho phép bạn thay đổi mô hình chỉ thông qua một thay đổi cấu hình đơn giản.

• Xây dựng hệ thống đánh giá (evaluation harness) trước tiên. Bạn cần một bộ dữ liệu kiểm thử (test set) để chứng minh liệu một mô hình mới, rẻ hơn có hoạt động tốt như mô hình cũ hay không. Nếu không có các bài kiểm tra, bạn sẽ bị kẹt lại với các mô hình đắt tiền vì lo sợ làm hỏng hệ thống.

• Đầu tư vào những thứ không giảm giá. Chất lượng dữ liệu, hệ thống truy xuất (retrieval systems), các rào chắn bảo vệ (guardrails) và trải nghiệm người dùng của bạn không giảm giá 10 lần mỗi năm. Chỉ có mô hình là như vậy.

Hãy ngừng fine-tuning để lấy năng lực thô. Fine-tuning là một canh bạc chống lại xu hướng. Bạn đang khóa dữ liệu và cơ sở hạ tầng của mình vào một mô hình cụ thể. Khi một mô hình nền tảng (base model) mới xuất hiện, mô hình đã fine-tune của bạn sẽ trở thành một di vật đắt đỏ. Chỉ nên fine-tune cho những thứ không thay đổi, chẳng hạn như tông giọng thương hiệu đặc thù hoặc các định dạng dữ liệu duy nhất của bạn.

Chiến lược chiến thắng là xây dựng một hệ thống giúp việc thay đổi mô hình trở nên cực kỳ dễ dàng. Hãy ngừng đếm token. Hãy thiết kế sản phẩm của bạn để tận dụng đà giảm của biểu đồ giá.

Nguồn: https://dev.to/aiexplore369zoho/the-10x-a-year-price-collapse-is-an-architecture-bet-not-a-prompt-trick-49df

Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi