Các công cụ Agent cần được kiểm soát chuỗi cung ứng ngay lập tức

Những prompt tốt hơn sẽ không thể cứu vãn một repository với các công cụ agent thiếu sự kiểm soát.

Các coding agent đã tiến hóa. Chúng không còn chỉ nằm trong các khung chat. Chúng đọc hướng dẫn. Chúng gọi các công cụ. Chúng kết nối với các marketplaces. Chúng chạy trong các quy trình công việc (workflows) có tác động đến tệp tin, pull requests và các API nội bộ.

Câu hỏi không còn là "liệu mô hình có đủ thông minh hay không?"

Các câu hỏi thực sự là:

  • Ai đã cho phép công cụ này vào quy trình công việc?
  • Công cụ này có thể tiếp cận những gì?
  • Làm thế nào bạn nhận ra nếu quyền truy cập của nó thay đổi?

Đây không phải là prompt engineering. Đây là kiểm soát chuỗi cung ứng.

Một gợi ý tồi là một chuyện. Một gợi ý tồi đi kèm với quyền truy cập vào shell, một repo token, hoặc một trình cài đặt gói (package installer) là một cấp độ vấn đề hoàn toàn khác. Mô hình không còn chỉ tạo ra văn bản nữa. Nó đang nắm giữ các khả năng thực thi (capability).

Hãy đối xử với các công cụ agent như các thành phần phụ thuộc (dependencies).

Bạn không cài đặt các gói dựa trên cảm tính. Bạn quan tâm đến registry, người duy trì (maintainer) và phiên bản. Các công cụ agent cũng xứng đáng nhận được sự nghi ngại tương tự.

Nếu một công cụ agent có thể ảnh hưởng đến repository, hệ thống tệp (filesystem) hoặc mạng của bạn, hãy tuân thủ các quy tắc sau:

• Duy trì danh mục các công cụ agent. Tài liệu hóa nguồn gốc và chủ sở hữu của chúng. • Quản lý phiên bản cho các hướng dẫn của agent. Hãy coi các thay đổi trong hướng dẫn giống như các thay đổi cấu hình CI. • Lập danh sách cho phép (allowlist) các nguồn công cụ. Sử dụng các marketplaces đã biết. • Tách biệt các công cụ đọc và công cụ ghi. Một công cụ tìm kiếm cần các quyền khác với một công cụ chỉnh sửa. • Ghi nhật ký (log) các lệnh gọi công cụ một cách rõ ràng. Bạn cần một dấu vết kiểm toán (audit trail) mà con người thực sự có thể đọc được. • Làm rõ các khả năng rủi ro. Quyền truy cập shell và quyền ghi vào hệ thống tệp phải được làm nổi bật trong quá trình xem xét (review). • Tạo cơ chế vô hiệu hóa. Bạn phải có khả năng loại bỏ một công cụ nhanh chóng nếu nó gặp lỗi.

Mục tiêu là chuyển từ sự tin tưởng ngẫu nhiên sang sự tin tưởng có chủ đích.

Lợi thế lớn tiếp theo sẽ không thuộc về đội ngũ có những prompt hào nhoáng nhất. Nó sẽ thuộc về đội ngũ có những danh mục, danh sách cho phép và nhật ký (log) tẻ nhạt.

Đó mới là phiên bản có thể tồn tại trong các dự án thực tế.

Source: https://dev.to/hefty_69a4c2d631c9dd70724/agent-tools-need-supply-chain-controls-now-1co2

Optional learning community: https://t.me/GyaanSetuAi