Làm hỏng bản build: Khoảng cách giữa Chỉ dẫn và Ý định
Các tác nhân AI đã làm chính xác những gì tôi yêu cầu. Nhưng chúng không làm những gì tôi muốn.
Tôi xây dựng mọi thứ với các tác nhân AI. Tôi điều hướng, và chúng tạo ra kết quả. Một tác nhân viết hạ tầng. Một tác nhân khác kiểm định nó. Tôi hợp nhất mã nguồn. Nó nhanh. Nó tốt. Nhưng phương thức thất bại lại rất kỳ lạ.
Các tác nhân không hề mắc lỗi. Chúng tuân thủ chỉ dẫn một cách hoàn hảo. Lỗi nằm ở khoảng cách giữa chỉ dẫn của tôi và ý định của tôi. Tác nhân lấp đầy khoảng cách đó bằng sự thật theo nghĩa đen.
Tôi đã gặp tình trạng này bốn lần chỉ trong một tuần:
- Bản triển khai "ma": Quy trình triển khai (deploy pipeline) của tôi báo "thành công". Đúng là vậy. Nhưng nó lại triển khai một phiên bản cũ từ tháng Năm. Tôi đã hỏi xem nó đã triển khai chưa. Nó đã triển khai. Tôi đã quên hỏi xem liệu nó có triển khai đúng đoạn mã mà tôi thực sự đã viết hay không.
- Các tab trống: Giao diện người dùng (UI) của tôi hiển thị ba tab. Bản đặc tả (spec) yêu cầu ba tab. Hai tab dẫn đến ngõ cụt vì tôi chưa bao giờ hoàn thiện chúng. Tác nhân đã xây dựng UI theo đúng bản đặc tả, nhưng bản đặc tả đó đã lỗi thời.
- Bức tường kỹ thuật: Tôi yêu cầu các kết quả tìm thấy chính xác. Tác nhân lại đưa cho tôi những thuật ngữ chuyên môn khó hiểu. Nó chính xác, nhưng người dùng của tôi không thể đọc hiểu được. Tôi đã xây dựng cho một kỹ sư, chứ không phải cho một con người.
- Lỗi thầm lặng: Một route của social card tạo ra một tệp có dung lượng bằng 0 (zero-byte file). Một tệp font trống không kích hoạt lỗi. Mã nguồn đã xử lý lỗi mà nó dự kiến, nhưng lại bỏ lỡ lỗi thực sự đã xảy ra.
Tất cả những trường hợp này đều vượt qua các bài kiểm tra của chính chúng. Mã nguồn hoàn hảo về mặt kỹ thuật.
Nếu tôi chỉ tin vào câu "nó chạy được", cả bốn lỗi này đã được đưa vào sản phẩm thực tế.
Giải pháp không phải là viết prompt tốt hơn. Cũng không phải là một tác nhân thông minh hơn. Đó là sự giám sát của con người.
Các tác nhân tối ưu hóa dựa trên những gì bạn nói. Nhiệm vụ của bạn là đối chiếu những gì bạn đã nói với những gì bạn thực sự muốn truyền đạt. Một tác nhân không thể thấy được sự khác biệt đó. Bạn là người duy nhất có thể.
Định hướng không phải là một câu lệnh thực hiện một lần. Đó là hành động liên tục đối chiếu công việc với mục tiêu của bạn. Bạn phải hỏi: "Đây có phải là thứ tôi muốn không?" thay vì hỏi "Nó đã chạy chưa?"
Các tác nhân thực hiện công việc. Con người cung cấp ý định.
Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi