Cách so sánh các công cụ AI mà không dựa vào danh sách tính năng
Đừng chọn một công cụ AI chỉ vì nó có danh sách tính năng dài dằng dặc. Những lời quảng cáo thường che đậy hiệu suất kém.
Một công cụ có thể cung cấp khả năng tạo mã nhưng lại không tuân thủ các quy tắc dự án của bạn. Một công cụ khác có thể viết rất nhanh nhưng lại đưa vào những thông tin sai lệch.
Hãy sử dụng khung làm việc này để tìm ra công cụ phù hợp cho công việc của bạn.
Bắt đầu với công việc cụ thể
Đừng sử dụng những mục tiêu chung chung. Đừng nói "chúng ta cần một người viết lách bằng AI."
Hãy xác định một tuyên bố công việc cụ thể. Sử dụng bốn phần sau: • Đầu vào (Input): Những gì bạn cung cấp. • Nhiệm vụ (Task): Những gì công cụ thực hiện. • Đầu ra (Output): Kết quả bạn cần. • Ràng buộc (Constraint): Các quy tắc mà nó phải tuân thủ.
Ví dụ: "Chuyển bản tóm tắt kỹ thuật này thành một bản thảo tuân theo tông giọng của chúng tôi và yêu cầu ít hơn 30 phút chỉnh sửa."
Tạo các trường hợp kiểm thử (Test Cases)
Một câu lệnh (prompt) thành công có thể là do may mắn. Một lần thất bại mới là một quy luật.
Hãy xây dựng một bộ dữ liệu nhỏ gồm 5 đến 10 tác vụ thực tế. • Đối với lập trình viên: Sử dụng một hàm tiện ích hoặc một cấu trúc kho lưu trữ (repo) phức tạp. • Đối với người viết: Sử dụng một bài so sánh sản phẩm hoặc một bản tóm tắt kỹ thuật.
Chạy mọi công cụ qua cùng một bộ kiểm thử chính xác như nhau.
Đánh giá giá trị thực tế
Chấm điểm các công cụ dựa trên các yếu tố sau:
• Sự phù hợp với vấn đề: Nó có giải quyết được tác vụ cụ thể của bạn không? • Chất lượng đầu ra: Mã nguồn có chính xác không? Các sự thật có đúng không? Hãy chạy thử mã và kiểm tra các nguồn tin. • Độ tin cậy: Nó hoạt động tốt mọi lúc, hay lúc được lúc không? • Khả năng tích hợp: Nó có phù hợp với phần mềm hiện tại của bạn không? • Quyền riêng tư: Công cụ có sử dụng dữ liệu của bạn để huấn luyện các mô hình của nó không? • Chi phí kiểm duyệt của con người: Bạn mất bao nhiêu thời gian để sửa lỗi đầu ra của AI? Một công cụ nhanh nhưng đòi hỏi chỉnh sửa lâu thì thực chất là một công cụ chậm.
Quy trình kiểm thử
- Lập danh sách rút gọn từ 3 đến 5 công cụ.
- Sử dụng cùng một trường hợp kiểm thử cho tất cả.
- Lưu lại tất cả đầu ra và lỗi.
- Xem xét kết quả một cách khách quan (blind review) để tránh định kiến về thương hiệu.
- Ghi lại các lỗi thất bại. Hiện tượng "ảo giác" (hallucinations) quan trọng hơn là những bản demo bóng bẩy.
Công cụ tốt nhất không phải là công cụ có nhiều tính năng nhất. Đó là công cụ thực hiện được công việc cụ thể của bạn trong phạm vi ngân sách và các quy tắc quyền riêng tư.
Bạn sử dụng tiêu chí nào để lựa chọn các công cụ AI của mình?
Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi