Xây dựng Vòng lặp Agent trong Môi trường Production

Xây dựng một agent để demo thì dễ. Xây dựng một agent cho môi trường production thì khó.

Trong một bản demo, vòng lặp rất đơn giản: quan sát, quyết định, hành động, kiểm tra, lặp lại. Mô hình thấy một kết quả và chuyển sang bước tiếp theo.

Trong môi trường production, chính vòng lặp đó cần những quy tắc nghiêm ngặt. Một agent production không chỉ đơn thuần là một mô hình và một vài công cụ. Nó là một vòng lặp được bao bọc trong một cấu trúc để đảm bảo tính chính xác.

Cái bẫy lớn nhất là tin tưởng vào phản hồi của công cụ.

Hãy tưởng tượng một agent cần hủy một đơn hàng và thực hiện hoàn tiền.

Trong bản demo, điều này hoạt động tốt. Trong môi trường production, đây là một thảm họa.

Một mã 200 OK thường có nghĩa là yêu cầu đã được chấp nhận, chứ không phải là tác vụ đã hoàn tất. Việc hủy có thể vẫn đang chờ xử lý trong hàng đợi. Nếu agent thực hiện hoàn tiền trước khi việc hủy được xác nhận, bạn đang chuyển tiền dựa trên một giả định.

Bạn phải tuân theo một quy tắc: Phản hồi của công cụ mô tả yêu cầu, chứ không nhất thiết mô tả thực tế thế giới.

Để xây dựng một vòng lặp production an toàn, bạn cần các thành phần sau:

• Tool Contracts (Hợp đồng Công cụ): Mỗi công cụ phải định nghĩa đầu vào, đầu ra, các chế độ lỗi và một idempotency key (khóa định danh duy nhất). • Verification Gates (Cổng Xác minh): Đừng chỉ kiểm tra xem công cụ có trả về mã thành công hay không. Hãy đọc lại trạng thái thực tế của thế giới để xác nhận thay đổi đã thực sự diễn ra. • Working State (Trạng thái Làm việc): Giữ các sự thật tách biệt với lịch sử trò chuyện. Điều này ngăn agent bị ảo giác dựa trên văn bản hội thoại. • Approval Gates (Cổng Phê duyệt): Sử dụng con người để phê duyệt ý định đối với các hành động có rủi ro cao. • Stop Rules (Quy tắc Dừng): Thiết lập giới hạn về số bước, chi phí, thời gian và sự im lặng để ngăn chặn các vòng lặp mất kiểm soát.

Cấu trúc vòng lặp không thay đổi. Việc triển khai trở nên nghiêm ngặt hơn.

Đối với các hành động có hệ quả quan trọng, bước "kiểm tra" của bạn phải có hai phần:

  1. Verify (Xác minh): Thế giới có thực sự thay đổi như mong đợi không?
  2. Commit (Cam kết): Bây giờ khi đã được xác nhận, liệu có an toàn để chuyển sang bước tiếp theo không?

Agent an toàn nhất là agent có nhiều giới hạn nhất. Sự tin cậy đến từ việc đặt ra các ranh giới rõ ràng xung quanh mô hình, chứ không phải từ việc cho nó nhiều tự do hơn.

Source: https://dev.to/gursharansingh/ai-agents-in-practice-part-6-building-the-production-agent-loop-2lfi

Optional learning community: https://t.me/GyaanSetuAi