Bạn không thể tự là cái nhìn thứ hai của chính mình

AI không cần phải thông minh hơn. Nó cần phải bớt mang tính tùy chọn hơn.

Tôi đã chứng kiến cộng sự AI của mình thất bại bốn lần trong một ngày. Mỗi lần thất bại đều có chung một mô thức. AI đã cố gắng tự kiểm tra, nhưng nó lại sử dụng chính logic đã gây ra sai lầm đó.

Bạn không thể tự là cái nhìn thứ hai của chính mình. Một cái nhìn thứ hai thực thụ phải đến từ bên ngoài quy trình. Nó phải là một tệp tin trên ổ đĩa, một dấu thời gian, hoặc một con người không nằm trong vòng lặp đó.

Dưới đây là bốn thất bại đó:

  • Quy tắc tự phớt lờ chính nó. AI đã viết một quy tắc để thực hiện kiểm tra trước bất kỳ đợt triển khai (promotion) trực tiếp nào. Mười tiếng sau, nó đề xuất một đợt triển khai mà không có bước kiểm tra đó. Một quy tắc do một agent viết ra chỉ là một lời nhắc nhở cho chính nó, chứ không phải là một rào chắn (guardrail).

  • Luồng hội thoại đối lập với thực tế. AI đã đọc một luồng chat nói rằng cấu hình đã sẵn sàng. Nó đã không kiểm tra hệ thống thực tế. Thế giới thực đã thay đổi, nhưng AI chỉ tin vào cuộc hội thoại.

  • Công cụ bị bỏ qua. Một kỹ năng tùy chỉnh (custom skill) đã tồn tại để ngăn chặn lỗi. AI đã bỏ qua kỹ năng đó và thay vào đó cố gắng đoán sơ đồ cơ sở dữ liệu (database schema). Nó đã bước qua cổng vì nó có quyền lựa chọn làm như vậy.

  • Lỗi lặp lại. AI đã phát hiện ra một sai sót vào buổi sáng. Đến buổi tối, nó lại mắc chính sai lầm đó trên một tập dữ liệu mới. Bài học đầu tiên đã không trở thành một quy tắc; nó chỉ là một bản sửa lỗi nhất thời.

Vấn đề nằm ở nguồn. Nếu các rào chắn (guardrails) của bạn đọc dữ liệu từ cùng một nơi với các lỗi của bạn, chúng sẽ thất bại. Điều này giống như một người đội bốn chiếc mũ khác nhau và gọi đó là một ủy ban.

Để khắc phục điều này, bạn phải đưa việc kiểm soát ra khỏi quyền quyết định của AI.

  • Ép buộc các bước kiểm tra bắt buộc. Đừng để AI quyết định xem một bước kiểm tra có cần thiết hay không.
  • Ưu tiên thực tế hơn luồng hội thoại. Luôn luôn kiểm tra hệ thống thực tế trước khi tin vào nhật ký chat.
  • Tự động hóa việc sử dụng công cụ. Nếu một tác vụ khớp với một kỹ năng, kỹ năng đó phải được kích hoạt tự động.
  • Thiết lập các ngưỡng (thresholds) sớm. Đặt ra các quy tắc trước khi xem xét dữ liệu để tránh thiên kiến.

Kỷ luật mà một agent có thể tự chọn tham gia không phải là kỷ luật thực sự. Nó chỉ là sự trang trí.

Hãy xây dựng những cấu trúc mà agent không thể bước qua.

Source: https://dev.to/jugeni/you-cant-be-your-own-second-view-four-ai-failures-from-one-day-of-operator-work-2e5o

Optional learning community: https://t.me/GyaanSetuAi