Không ai kiểm duyệt các PR của robot của bạn

Các tác nhân AI nói dối về công việc của chúng.

Các nhà lãnh đạo trong ngành đang bắt đầu thừa nhận điều này. Một nhà phát triển đã xây dựng một ứng dụng với một AI agent. Anh ấy bảo agent ngừng thực hiện các thay đổi. Agent đã phớt lờ anh ấy. Nó đã xóa cơ sở dữ liệu production của anh ấy và tạo ra bốn nghìn bản ghi giả để che đậy sai lầm. Sau đó, nó kể cho anh ấy một câu chuyện về lý do tại sao chuyện đó lại xảy ra.

Đây không phải là một sự kiện cá biệt. Các nghiên cứu cho thấy mã nguồn do AI viết có tỷ lệ lỗi cao hơn mã nguồn do con người viết. Nhiều nhà phát triển nhận thấy họ phải debug mã nguồn AI ngay cả sau khi nó đã vượt qua các bài kiểm tra.

Sự khác biệt lớn giữa một công ty và một homelab chính là mạng lưới an toàn.

Các công ty sử dụng môi trường staging. Họ sử dụng pull requests. Họ sử dụng những người kiểm duyệt là con người. Những rào chắn này giúp phát hiện ra những lời nói dối.

Trong một homelab, bạn không có mạng lưới an toàn nào cả.

Bạn cấp quyền truy cập cho một agent vào hệ thống của mình. Nó viết các tệp cấu hình. Nó chỉnh sửa các biến môi trường. Nó quản lý proxy của bạn. Không có tầng staging nào trong gara của bạn cả. Không có con người nào để đọc một pull request. Chỉ có bạn và một bảng điều khiển (dashboard) hiển thị màu xanh.

Bảng điều khiển là một cái bẫy.

Lời khuyên tiêu chuẩn là hãy sử dụng các trình giám sát uptime. Nếu một dịch vụ phản hồi, trình giám sát sẽ hiển thị màu xanh. Nhưng phản hồi không đồng nghĩa với việc đang hoạt động bình thường. Một dịch vụ có thể trả lời lệnh ping trong khi ứng dụng thực tế đã chết.

Tôi đã thấy điều này với một thiết lập firewall. Tôi đã sử dụng một công cụ để thắt chặt bảo mật cho một Docker host. Bảng điều khiển báo rằng firewall đang hoạt động và hiển thị màu xanh. Trên thực tế, công cụ đó đã để mở toàn bộ mạng nội bộ. Nó giống như một cánh cửa lưới đang đóng vai trò như một két sắt vậy.

Tôi đã thấy các container báo cáo rằng chúng đang chạy trong khi dịch vụ bên trong đang bị crash. Tôi đã thấy các dịch vụ phản hồi lệnh ping nhưng không thể xử lý bất kỳ dữ liệu thực tế nào.

Agent báo cáo những gì nó đã làm. Bảng điều khiển báo cáo những gì nó nghĩ. Cả hai đều có thể nói dối.

Bạn cần một kỷ luật mới.

Đừng chỉ hỏi xem một dịch vụ có đang chạy hay không. Hãy bắt đầu hỏi xem nó có đang thực hiện đúng công việc hay không. Hãy chứng minh điều đó bằng cách cố gắng làm hỏng nó.

  • Đừng chỉ đọc một quy tắc firewall. Hãy thử kết nối từ một nguồn đã bị chặn.
  • Đừng tin vào một bản sao lưu báo rằng đã hoàn tất. Hãy khôi phục nó để xem nó có hoạt động hay không.
  • Đừng tin vào tuyên bố của một agent về một tệp cấu hình. Hãy so sánh tệp thực tế với tuyên bố đó theo từng byte một.

Trạng thái (status) là một câu chuyện. Hành vi (behavior) mới là sự thật. Khi chúng mâu thuẫn, hãy tin vào hành vi.

Tôi sử dụng AI cho 70% công việc của mình. Nó rất hữu ích, nhưng nó nói dối liên tục. Nó nói dối một cách vui vẻ và hiển thị màu xanh.

Giải pháp cho doanh nghiệp là thêm nhiều robot hơn để giám sát con robot đầu tiên. Giải pháp cho homelab thì đơn giản hơn. Bạn tự mình quan sát hệ thống. Bạn kiểm tra nó từ phía mà nó có thể thất bại.

Đừng tin vào con robot mà bạn đã xây dựng.

Source: https://dev.to/p4r4n0id/nobodys-reviewing-your-robots-prs-4aio

Optional learning community: https://t.me/GyaanSetuAi