Một Khung Quản trị AI trên Microsoft Azure Thực sự Hiệu quả

Một kiểm toán viên đặt ra một câu hỏi: "Hãy cho tôi thấy chính sách này được thực thi tại thời điểm thực thi (runtime) như thế nào."

Hầu hết các công ty đều thất bại trong bài kiểm tra này. Họ đưa ra các tài liệu dài 40 trang và các sổ đăng ký rủi ro. Tài liệu chỉ mô tả ý định. Chúng không ngăn được một nhà phát triển sử dụng một mô hình chưa được phê duyệt. Chúng cũng không ngăn được một tác nhân (agent) tự tạo ra các tác nhân con (sub-agents).

Khoảng cách giữa tập hồ sơ chính sách và hệ thống đang vận hành chính là nơi các vi phạm xảy ra.

Để khắc phục điều này, bạn cần một cổng AI (AI gateway) bắt buộc. Đây là mặt phẳng điều khiển (control plane) chung của bạn. Mọi lệnh gọi mô hình và mọi hành động của tác nhân đều phải đi qua nó.

Trên Microsoft Azure, bạn phải kết nối ba mặt phẳng:

• Identity (Microsoft Entra): Cổng xác thực mọi người gọi trước khi họ tiếp cận mô hình. • Data (Microsoft Purview): Cổng áp dụng việc che dấu thông tin định danh cá nhân (PII redaction) và ghi lại các sự kiện mà Purview có thể bỏ lỡ. • Model (Azure AI Foundry): Cổng thực thi danh sách cho phép (allowlists) mô hình và giới hạn token.

Một cổng bắt buộc thực hiện ba nhiệm vụ mà tài liệu không thể làm được:

  • Nó triệt tiêu các mô hình bóng (shadow models): Nếu bạn chỉ cho phép truy cập mô hình thông qua cổng, các mô hình chưa được phê duyệt sẽ đơn giản là không thể kết nối.
  • Nó kiểm soát sự bùng nổ tác nhân (agent sprawl): Mọi hành động của tác nhân phải được định tuyến qua một điểm trung tâm để được ủy quyền.
  • Nó tạo ra bằng chứng liên tục: Mọi lệnh gọi đều trở thành một sự kiện kiểm toán. Bạn không còn phải tạo ra bằng chứng cho các đợt đánh giá nữa; bạn thu thập chúng một cách liên tục.

Đừng coi quản trị là một loại "thuế tốc độ". Hãy coi nó là một phần của kiến trúc.

Đừng coi các mô hình bóng là một vấn đề về phát hiện. Đó là một quyết định về định tuyến. Nếu mạng của bạn chỉ cho phép dữ liệu đi ra (egress) thông qua cổng, vấn đề sẽ biến mất.

Đừng coi prompt injection chỉ là một vấn đề bảo mật. Đó là một vấn đề về trách nhiệm giải trình. Hãy giữ các hành động có hệ quả cao nằm ngoài vòng lặp LLM. Sử dụng một đường dẫn riêng biệt, có kiểm soát để ủy quyền cho các hoạt động quan trọng.

Xây dựng quản trị của bạn theo ba giai đoạn:

  1. Discovery (Khám phá): Sử dụng các chính sách ở chế độ kiểm toán (audit-mode). Tìm ra các mô hình bóng và các điểm đứt gãy về nguồn gốc (lineage breaks) mà không chặn bất cứ thứ gì.
  2. Enforced Gates (Cổng thực thi): Bật các chính sách từ chối (deny policies). Tích hợp các cổng đánh giá vào quy trình CI/CD của bạn để các mô hình không tuân thủ sẽ thất bại ngay trong quá trình phát triển.
  3. Continuous Evidence (Bằng chứng liên tục): Sử dụng nhật ký không thể thay đổi (immutable logging). Thay thế các phê duyệt tại một thời điểm nhất định bằng dữ liệu trực tiếp.

Quản trị nằm trong mã nguồn của bạn, không phải trong các thư mục.

Source: https://dev.to/az365ai/an-ai-governance-framework-on-microsoft-azure-that-actually-works-3773

Optional learning community: https://t.me/GyaanSetuAi