Xây dựng các AI Agent không bị "ảo giác"
Nếu bạn xây dựng ứng dụng với LLM, bạn sẽ gặp phải cùng một trở ngại. Mô hình tự chế ra một hàm hoặc gọi sai công cụ.
Function calling đáng lẽ phải giải quyết được vấn đề này. Thay vào đó, nó thường khiến agent của bạn mắc lỗi một cách đầy tự tin ở quy mô lớn.
Để khắc phục điều này, bạn cần một kiến trúc tốt hơn, chứ không phải các mô hình lớn hơn.
Hãy sử dụng bốn mô hình (pattern) sau để xây dựng các agent đáng tin cậy:
- Sử dụng bộ định tuyến hai giai đoạn (two-stage router) Đừng bao giờ đưa tất cả các công cụ cho mô hình cùng một lúc. Điều này gây ra tình trạng phình to schema (schema bloat).
- Sử dụng một mô hình nhanh và rẻ để phân loại ý định (intent) trước.
- Chỉ hiển thị các công cụ khớp với ý định đó.
- Điều này giúp giảm tới 70% lỗi gọi sai công cụ.
- Áp đặt đầu ra có cấu trúc (structured outputs) Đừng yêu cầu mô hình trả về JSON hợp lệ thông qua prompt nữa.
- Sử dụng các schema được thực thi ở cấp độ API.
- Sử dụng các công cụ như Pydantic để đảm bảo định dạng.
- Các ràng buộc giúp giảm ảo giác hiệu quả hơn cả prompt engineering.
- Thêm các lớp xác thực (validation layers) Mỗi lần gọi công cụ cần có ba lớp: Đầu vào người dùng (User Input), Tiền xác thực (Pre-validation), và Hậu xác thực (Post-validation).
- Xác thực đầu ra của mô hình với schema của bạn trước khi thực thi.
- Nếu xác thực thất bại, hãy gửi lỗi ngược lại cho mô hình.
- Các mô hình có thể tự sửa lỗi tham số trong 80% trường hợp khi chúng nhận được phản hồi về lỗi.
- Thiết lập các giới hạn cứng (hard limits) Các vòng lặp vô tận sẽ tiêu tốn ngân sách của bạn. Mô hình có thể gọi các công cụ trong một vòng lặp cho đến khi hết thời gian chờ (timeout).
- Luôn thiết lập số lần lặp tối đa.
- Luôn thiết lập giới hạn token tối đa cho mỗi lần gọi.
- Các giới hạn cứng là yêu cầu bắt buộc khi triển khai thực tế (production).
Điều phối thông minh (Smart orchestration) cũng giúp tiết kiệm tiền. Hãy sử dụng các mô hình khác nhau cho các tác vụ khác nhau:
- Các mô hình nhỏ cho việc định tuyến ý định và định dạng đầu ra.
- Các mô hình tầm trung cho việc lựa chọn công cụ.
- Các mô hình hàng đầu (frontier models) cho việc lập kế hoạch phức tạp.
Cách tiếp cận này giúp cắt giảm chi phí từ 10 đến 15 lần mà không làm giảm chất lượng.
Theo dõi ba chỉ số này để đảm bảo tính ổn định:
- Độ chính xác khi chọn công cụ (Tool Selection Accuracy): Nó có gọi đúng công cụ không?
- Tỷ lệ hợp lệ của tham số (Parameter Validity Rate): Các tham số có vượt qua schema của bạn không?
- Tỷ lệ hoàn thành tác vụ (Task Completion Rate): Nó có thực sự giải quyết được vấn đề không?
AI đáng tin cậy nằm ở thiết kế hệ thống. Hãy xây dựng các ràng buộc, xác thực và các rào chắn (guardrails).
Bạn sử dụng những mô hình nào để xây dựng các agent đáng tin cậy? Hãy chia sẻ ý kiến của bạn bên dưới.
Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi