𝗕𝘂𝗶𝗹𝗱𝗶𝗻𝗴 𝗔𝗜 𝗔𝗴𝗲𝗻𝘁𝘀 𝗧𝗵𝗮𝘁 𝗗𝗼𝗻'𝘁 𝗛𝗮𝗹𝗹𝘂𝗰𝗶𝗻𝗮𝘁𝗲
Hầu hết các AI agent đều thất bại khi triển khai thực tế. Chúng tự chế ra tên hàm. Chúng đoán sai tham số. Chúng gọi sai công cụ.
Function calling được kỳ vọng sẽ ngăn chặn điều này. Nhưng thực tế, nó thường khiến các agent mắc lỗi sai một cách đầy tự tin ở quy mô lớn.
Bạn không cần các mô hình lớn hơn để khắc phục vấn đề này. Bạn cần một kiến trúc tốt hơn.
Hãy áp dụng bốn mô hình sau để xây dựng các agent đáng tin cậy:
Sử dụng bộ định tuyến hai giai đoạn (two-stage router) Đừng đưa 15 công cụ cho một mô hình cùng một lúc. Điều này gây ra tình trạng phình to schema (schema bloat). Thay vào đó, hãy sử dụng một mô hình nhanh và rẻ để phân loại ý định (intent) trước. Khi đã biết ý định, chỉ hiển thị các công cụ liên quan. Cách này giúp giảm lỗi từ 60-70%.
Áp dụng đầu ra có cấu trúc (structured outputs) Đừng yêu cầu các mô hình trả về JSON hợp lệ thông qua prompt nữa. Hãy sử dụng cơ chế ràng buộc schema (schema enforcement) ở cấp độ API. Một schema luôn hiệu quả hơn một prompt dài 500 chữ. Nó đảm bảo mô hình tuân thủ các quy tắc của bạn.
Xây dựng các lớp xác thực (validation layers) Mỗi lần gọi công cụ cần ba bước:
- Tiền xác thực (Pre-validation)
- Thực thi mô hình (Model execution)
- Hậu xác thực (Post-validation)
Nếu một lần gọi công cụ không vượt qua bước xác thực, hãy gửi lỗi đó lại cho mô hình. Các mô hình có thể tự sửa lỗi tham số của chính chúng tới 80% trong lần thử thứ hai.
- Thiết lập các giới hạn cứng (hard limits) Các vòng lặp vô tận sẽ ngốn hết ngân sách của bạn. Một mô hình có thể gọi các công cụ trong một vòng lặp cho đến khi hết thời gian chờ (timeout). Hãy luôn thiết lập số lần lặp tối đa. Giới hạn cứng là yêu cầu bắt buộc, không phải là một tùy chọn.
Tối ưu hóa chi phí bằng cách sử dụng các mô hình khác nhau cho các tác vụ khác nhau:
- Sử dụng các mô hình nhỏ cho việc định tuyến ý định và định dạng đầu ra.
- Sử dụng các mô hình tầm trung cho việc lựa chọn công cụ.
- Chỉ sử dụng các mô hình hàng đầu (frontier models) cho việc lập kế hoạch phức tạp.
Cách tiếp cận này giúp cắt giảm chi phí từ 10 đến 15 lần mà hầu như không làm giảm chất lượng.
AI đáng tin cậy nằm ở thiết kế hệ thống. Hãy tập trung vào các ràng buộc, việc xác thực và điều phối (orchestration).
Bạn sử dụng những mô hình nào để xây dựng các agent đáng tin cậy?