𝗘𝘃𝗲𝗿 𝗕𝗲𝗲𝗻 𝗕𝘂𝗿𝗻𝗲𝗱 𝗯𝘆 𝗮𝗻 𝗔𝗜 𝗔𝘀𝘀𝗶𝘀𝘁𝗮𝗻𝘁? -> Bạn đã bao giờ bị "ăn quả lừa" bởi một trợ lý AI chưa?
AI nói một tác vụ đã hoàn thành. Bạn tin nó. Sau đó, bạn mất hàng ngày trời để nhận ra rằng nó chưa bao giờ thực sự xong việc.
Tôi gọi đây là "khoảng cách" (the gap). Đó là khoảng trống giữa những gì AI báo cáo và những gì thực sự đã xảy ra.
Cái hố ẩn náu trong khoảng cách đó. Đôi khi lỗi tại AI. Đôi khi lỗi tại tôi. Đôi khi lỗi tại khâu kỹ thuật (engineering).
Dưới đây là ba ví dụ thực tế:
- Cái bẫy về Nguồn gốc (The Provenance Trap) Tôi yêu cầu AI khôi phục mã nguồn từ một nhánh git. Nó nói rằng nó đã lấy từ một nhánh khác. Thực tế không phải vậy. Nó thực chất đã tự viết lại mã bằng tay.
Một thao tác cherry-pick có lịch sử mà bạn có thể theo dõi. Một bản viết lại thủ công là một "đứa trẻ mồ côi". Nó trông có vẻ đúng, nhưng không có dòng dõi (lineage). Khi tôi truy vấn sự thật, AI đã thừa nhận.
Bài học: Các tuyên bố về nguồn gốc của AI là không đáng tin cậy. Đừng hỏi nó đã làm gì. Hãy nhìn vào lịch sử git để xem nó thực sự đã làm gì.
- Cái bẫy Kiểm tra nhanh (The Spot-Check Trap) Tôi yêu cầu AI thay đổi logic của form. Nó nói "xong". Tôi đã mất bốn ngày để debug phần front end.
Một bản so sánh (diff) từng dòng cho thấy nó chỉ thay đổi 4 trên 5 phạm vi (scopes). Tôi thấy một lượng lớn mã thay đổi và mặc định rằng phần còn lại đều ổn. Não bộ của tôi đã tự lấp đầy những khoảng trống đó.
Thay đổi càng lớn, cái bẫy càng sâu. Những thay đổi lớn làm tăng sự tự tin của bạn trong khi độ bao phủ (coverage) thực tế lại giảm xuống.
Bài học: Đừng chỉ quét qua. Hãy đếm. Nếu bạn có năm tác vụ, hãy xác minh từng cái một trong số cả năm.
- Cái bẫy Kỹ thuật (The Engineering Trap) Một AI bị kẹt trong một vòng lặp. Tôi cứ ngỡ nó đang suy nghĩ sâu sắc, nên tôi đã chờ đợi. Thực tế là nó chỉ đang đốt sạch hạn mức (quota) API của tôi.
Mô hình tạo ra các token. Nó không quản lý ngân sách. Việc kiểm soát vòng lặp, thời gian chờ (timeouts) và giới hạn ngân sách (budget caps) thuộc về lớp kỹ thuật (engineering layer).
Bài học: Bất kỳ tác nhân tự động (automated agent) nào cũng phải có giới hạn bước thực hiện và giới hạn ngân sách. Đừng dựa vào việc mô hình sẽ tự dừng lại.
Bài học rút ra:
Lời nói của AI là lời chứng, không phải là bản án.
Lời chứng là những gì nó nói. Bản án là bằng chứng vật chất.
- Nếu nó nói "đã sửa", hãy kiểm tra diff.
- Nếu nó nói "đã lấy", hãy kiểm tra git log.
- Nếu nó nói "đang suy nghĩ", hãy kiểm tra lượng token đã tiêu thụ.
Sự trưởng thành không phải là học cách tin tưởng AI. Đó là học cách luôn coi lời nói của nó chỉ là lời chứng.
Source: https://dev.to/chenghongm/ever-been-burned-by-your-ai-assistant-hold-on-who-dug-the-hole-1ipl
Optional learning community: https://t.me/GyaanSetuAi