Cách tôi xây dựng các trang so sánh AI với ngân sách hạn hẹp

Tôi cần xây dựng các trang so sánh cho danh mục công cụ AI của mình.

Các con số thật đáng sợ. Với 200 mô hình, tôi phải đối mặt với gần 20.000 cặp so sánh có thể có. Nếu sử dụng Claude Haiku để tạo nội dung cho mọi cặp, chi phí sẽ quá lớn nếu tôi chạy nó hàng ngày.

Đây là cách tôi giải quyết vấn đề bằng logic và các giới hạn.

Chiến lược

Tôi tập trung vào các truy vấn có ý định cao (high-intent queries). Người dùng muốn biết "Llama 3 vs Mistral". Họ muốn một quyết định, chứ không phải một bài luận dài.

Tôi đã sử dụng các quy tắc sau để kiểm soát chi phí:

• Nhóm các mô hình theo thẻ pipeline của chúng. • Chỉ chọn 4 mô hình hàng đầu theo số lượt tải xuống trong mỗi nhóm. • Thiết lập một giới hạn cứng cho tổng số cặp.

Điều này đã giảm số lượng cặp từ 20.000 xuống còn khoảng 50. Việc này giúp giữ chi phí thấp trong khi vẫn bao quát được các mô hình phổ biến nhất.

Thiết lập kỹ thuật

Tôi đã xây dựng một quy trình ETL chạy mỗi đêm. Nó có tính idempotent (tính lũy đẳng). Điều này có nghĩa là nếu cặp so sánh đã tồn tại trong cơ sở dữ liệu, tập lệnh sẽ bỏ qua nó.

Hầu hết các đêm, tập lệnh chỉ chạy trong 3 giây và tốn 0 USD vì nó bỏ qua mọi thứ.

Tôi sử dụng một vài mẹo để giữ cho nó hiệu quả:

• Prompt Caching: Tôi sử dụng một Claude Haiku client dùng chung. Vì system prompt không đổi, việc lưu bộ nhớ đệm (caching) giúp các lần gọi sau gần như miễn phí. • Lean Prompts: Tôi cắt ngắn các bản tóm tắt mô hình xuống còn 400 ký tự. Điều này giúp đầu vào nhỏ gọn và nhanh chóng. • Static Generation: Tôi sử dụng Astro để chuyển đổi dữ liệu thành các tệp JSON tĩnh. Người dùng sẽ không phải chờ đợi các lệnh gọi cơ sở dữ liệu chậm chạp hay độ trễ của edge function.

Chuyện gì xảy ra khi nó thất bại?

AI có thể không thể đoán trước được. Đôi khi Claude trả về JSON lỗi.

Tôi đã viết một hệ thống dự phòng (fallback system). Nếu AI thất bại, trang web sẽ không bị sập. Thay vào đó, nó sẽ hiển thị một mẫu (template) tiêu chuẩn, hướng dẫn người dùng kiểm tra các trang mô hình riêng lẻ. Tôi theo dõi các lỗi này trong cơ sở dữ liệu để có thể thử lại sau.

Những điều tôi sẽ làm khác đi

Nếu bắt đầu lại từ đầu vào hôm nay, tôi sẽ thay đổi hai điều:

  1. So sánh chéo pipeline: So sánh một mô hình văn bản với một mô hình thị giác (vision model) sẽ có giá trị hơn là so sánh hai mô hình văn bản tương tự nhau.
  2. Lựa chọn dựa trên tìm kiếm: Thay vì sử dụng số lượt tải xuống, tôi sẽ sử dụng nhật ký tìm kiếm thực tế của người dùng để quyết định nên xây dựng những cặp nào.

Xây dựng trong các điều kiện ràng buộc buộc bạn phải xây dựng thông minh hơn.

Nguồn: https://dev.to/morinaga/how-i-built-pairwise-ai-model-compare-pages-with-claude-haiku-and-a-budget-cap-3hpm

Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi