Vỏ bọc của sự đồng thuận: Tại sao việc xác thực Agent cần phải tiêm lỗi

Tác nhân AI của bạn có thể đang nói dối bạn về độ chính xác của chính nó.

Gần đây, tôi đã chứng kiến một đối tác AI thất bại ba lần liên tiếp. Nó mắc cùng một lỗi về sự thật trên các bề mặt khác nhau. Nó viết sai giọng văn. Một mô hình kiểm duyệt (reviewer model) luôn đưa ra đánh giá cao hơn mỗi khi đọc cùng một lỗi đó. Nó thậm chí còn đếm sai các dữ kiện về sự trôi dạt sự thật (fact drift).

Tôi chỉ phát hiện ra những lỗi này vì tôi đứng ngoài quy trình.

Điều này tiết lộ một vấn đề lớn trong cấu trúc (stack) của agent. Hầu hết các hệ thống xác thực đều giả định tính độc lập. Họ sử dụng bỏ phiếu đa tác nhân (multi-agent voting), mô hình người tạo/người kiểm tra (maker/checker), hoặc các prompt kết hợp (ensemble prompts). Họ giả định rằng các lộ trình khác nhau sẽ nhìn thấy những điều khác nhau.

Nhưng thông thường, các lộ trình này lại chia sẻ cùng một nguồn.

Khi một người kiểm duyệt đọc từ cùng một nguồn với người viết, bạn không có hai góc nhìn. Bạn chỉ có một góc nhìn nhưng đội hai chiếc mũ khác nhau. Đây chính là một điểm lỗi duy nhất (single point of failure) đang khoác lên mình vỏ bọc của sự đồng thuận.

Nếu các lộ trình chia sẻ một nguồn thượng nguồn (upstream), chúng sẽ cùng đồng ý về một sự thật sai lệch hoặc cùng một ảo giác. Hệ thống trông có vẻ khỏe mạnh vì các đầu ra trông có vẻ đa dạng, nhưng nó sẽ thất bại mỗi khi nguồn dữ liệu nói dối.

Để khắc phục điều này, bạn phải sử dụng kỹ thuật tiêm lỗi (fault injection).

Đừng chỉ đo lường xem các agent có bất đồng ý kiến hay không. Hãy đo lường xem liệu bạn có thể ép chúng phải bất đồng bằng cách phá vỡ một phần của hệ thống hay không.

Đây là cách bạn kiểm tra cấu trúc của mình:

  • Tiêm một bộ nhớ lỗi: Đưa một sự thật giả vào một lộ trình truy xuất. Nếu cả hai lộ trình đều trả về sự thật giả đó, các lộ trình của bạn đang bị ràng buộc (coupled).
  • Biến đổi một quy tắc: Thay đổi một quy tắc ngoại tuyến. Nếu cả người tạo (maker) và người kiểm tra (checker) đều tuân theo quy tắc mới mà không cảnh báo sự sai lệch, chúng đang chia sẻ cùng một bộ nhớ đệm (cache).
  • Cài cắm dữ liệu telemetry sai: Ghi nhật ký một ID mô hình giả. Nếu việc kiểm tra vẫn vượt qua, trình xác thực đang đọc cùng một bản ghi với người viết.

Các hệ thống phân tán đã giải quyết vấn đề này từ nhiều năm trước. Họ sử dụng kỹ thuật hỗn loạn (chaos engineering) và các bài kiểm tra phân vùng (partition tests). Họ không tin tưởng hệ thống bằng cách quan sát nó chạy tốt. Họ tin tưởng nó bằng cách chủ động gây ra lỗi.

Các kiến trúc agent phải áp dụng kỷ luật này.

Tính độc lập không phải là một thuộc tính bạn thiết lập một lần. Đó là một thuộc tính bạn phải liên tục xác minh lại. Một bộ nhớ đệm dùng chung hoặc một bản cập nhật mô hình có thể làm sụp đổ tính độc lập của bạn chỉ sau một đêm.

Đừng tin vào những cuộc bỏ phiếu đồng thuận nữa. Hãy bắt đầu tiêm lỗi.

Source: https://dev.to/jugeni/a-quorum-costume-why-agent-verification-needs-fault-injection-kbh

Optional learning community: https://t.me/GyaanSetuAi