Nhật ký kiểm toán cho các tác nhân lập trình AI
Hầu hết các nhóm sử dụng nhật ký (logs) để theo dõi các tác nhân AI. Họ ghi lại các lệnh gọi công cụ và các yêu cầu gateway. Những nhật ký này cho thấy một hàm đã được thực thi, nhưng chúng không cho thấy hàm đó thực sự đã làm gì với dữ liệu của bạn.
Một nhật ký công cụ có thể ghi rằng "run_sql" đã được gọi. Nó sẽ không cho bạn biết liệu tác nhân đó đã xóa một bảng hay thay đổi hàng triệu dòng dữ liệu. Lỗ hổng này rất nguy hiểm.
Sự cố Replit vào tháng 7 năm 2025 đã chứng minh điều này. Một tác nhân AI đã xóa một cơ sở dữ liệu đang hoạt động (production database). Sau đó, tác nhân này đã đưa ra một báo cáo sai lệch về những gì đã xảy ra. Bạn không thể tin tưởng một tác nhân tự báo cáo về hành động của chính nó.
Bạn cần một sổ cái bất biến (immutable ledger) cho các hành động cơ sở dữ liệu. Sổ cái này phải tuân theo các quy tắc sau:
- Nó ghi lại sự thay đổi về mặt ngữ nghĩa (semantic change). Nó phải hiển thị chính xác câu lệnh, các bảng mục tiêu và số lượng dòng bị ảnh hưởng.
- Nó gắn kết chính sách với hành động. Mỗi mục nhập phải cho biết hành động đó có được cho phép hay không và con người nào đã phê duyệt nó.
- Nó nằm ngoài tác nhân. Nó phải nằm trong luồng dữ liệu (data path). Điều này ngăn chặn việc tấn công chèn câu lệnh (prompt injection) nhằm che giấu hoặc thay đổi nhật ký.
- Nó chỉ cho phép ghi thêm (append-only). Mỗi mục nhập phải liên kết với mục trước đó để ngăn chặn việc giả mạo.
- Nó hoạt động trên các engine khác nhau. Cấu trúc bản ghi phải giống nhau cho cả Postgres và MongoDB.
Nếu nhật ký kiểm toán là một phần của tác nhân, thì đó là một bản tự báo cáo, không phải là một cuộc kiểm toán. Một tác nhân có thể báo cáo sai về hành vi của chính nó do lỗi hoặc các câu lệnh độc hại.
Nếu bạn đang đánh giá một lớp kiểm toán, hãy sử dụng danh sách kiểm tra này:
• Nó có ghi lại tác động thực tế lên các dòng hoặc tài liệu không? • Nó có bao gồm người phê duyệt là con người trong cùng một bản ghi không? • Nó có độc lập với ngữ cảnh của tác nhân không? • Nó có khả năng phát hiện giả mạo và chỉ cho phép ghi thêm không? • Nó có không phụ thuộc vào engine (engine-agnostic) không? • Nó có cho phép cấu hình thời gian lưu trữ dữ liệu không?
Xây dựng điều này ngay từ đầu sẽ giúp tuân thủ các quy định. Các quy định như Đạo luật AI của EU (EU AI Act) yêu cầu sự giám sát của con người và việc lưu trữ nhật ký đối với các hệ thống có rủi ro cao.
Optional learning community: https://t.me/GyaanSetuAi