Tại sao các prompt AI của bạn liên tục thất bại
Hầu hết mọi người coi việc viết prompt AI giống như một công tắc đèn. Nó chỉ có thể là bật hoặc tắt. Họ nghĩ rằng một prompt chỉ có thể là tốt hoặc xấu.
Khi một workflow AI bị lỗi, vấn đề hiếm khi nằm ở bước cuối cùng. Nó thường nằm ở hai hoặc ba bước trước đó.
Nếu bạn xây dựng các pipeline AI đa bước, bạn sẽ hiểu cảm giác này. Bạn dùng một prompt để tóm tắt. Bạn dùng một prompt khác để trích xuất các ý chính. Bạn dùng prompt thứ ba để định dạng kết quả.
Một ngày nọ, kết quả cuối cùng trông có vẻ sai. Bạn viết lại prompt cuối cùng. Bạn tinh chỉnh prompt ở giữa. Bạn thay đổi prompt đầu tiên. Nhiều giờ trôi qua mà chẳng có gì cải thiện.
Điều này xảy ra vì mỗi prompt đều phụ thuộc vào đầu ra của bước trước đó. Việc trích xuất dữ liệu kém ở bước một sẽ làm hỏng tất cả các bước còn lại.
Các nhà nghiên cứu tại Cisco Foundation AI đã tạo ra một hệ thống gọi là FAPO để khắc phục điều này. Nó đánh giá độc lập từng bước trong một pipeline. Nó tìm ra chính xác nơi xảy ra lỗi và đề xuất cách khắc phục cho cấp độ cụ thể đó.
Bạn không cần các công cụ đặc biệt để áp dụng logic này. Bạn có thể thực hiện chẩn đoán ở cấp độ bước một cách thủ công ngay hôm nay.
Đừng mặc định rằng bước cuối cùng là vấn đề. Hãy kiểm tra từng bước một cách độc lập.
Ví dụ: Bạn chuyển đổi bản ghi chép phỏng vấn thành các bài viết blog.
- Bước 1: Tóm tắt bản ghi chép.
- Bước 2: Trích xuất các chủ đề.
- Bước 3: Viết bản thảo bài viết.
Nếu bài viết quá chung chung, đừng chỉ viết lại Bước 3.
Đầu tiên, hãy chạy riêng Bước 1. Bản tóm tắt có bị mất chi tiết không? Nếu có, hãy sửa Bước 1.
Thứ hai, hãy cung cấp cho Bước 2 một bản tóm tắt hoàn hảo do chính bạn viết. Các chủ đề có còn chung chung không? Nếu có, hãy sửa Bước 2.
Thứ ba, hãy cung cấp cho Bước 3 một bản tóm tắt hoàn hảo và các chủ đề hoàn hảo. Nếu bài viết bây giờ đã tốt, bạn biết rằng Bước 3 chưa bao giờ là vấn đề.
Quy trình này chỉ mất 20 phút. Nó tốt hơn nhiều so với việc đoán mò trong nhiều giờ.
Cách khắc phục workflow của bạn trong tuần này:
- Vẽ workflow của bạn ra giấy. Liệt kê mọi bước AI.
- Thêm bước kiểm tra chất lượng sau mỗi bước. Hãy hỏi: "Đầu ra này đã đủ tốt để bước tiếp theo thành công chưa?"
- Xây dựng một thư viện kiểm thử. Lưu lại các ví dụ về đầu vào tốt và xấu cho mỗi bước.
- Thay đổi từng thứ một. Đừng bao giờ thay đổi hai prompt cùng một lúc.
AI đáng tin cậy là một quá trình lặp đi lặp lại. Nó không phải là một hành động sáng tạo chỉ diễn ra một lần.
Trải nghiệm của bạn với vấn đề này như thế nào? Hãy cho tôi biết trong phần bình luận.
Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi