AWS Web Search trên Bedrock AgentCore
Công nghệ AI thường tối ưu hóa sai thứ cần thiết.
Hầu hết các đội ngũ đều tinh chỉnh mô hình trong khi thất bại thực sự lại nằm ở các kết nối. Vấn đề không nằm ở trí thông minh. Vấn đề nằm ở quá trình chuyển giao giữa mô hình và thế giới thực.
AWS vừa phát hành Web Search trên Amazon Bedrock AgentCore. Điều này thay đổi cách bạn xây dựng các agent.
Cho đến nay, các agent vẫn bị kẹt với dữ liệu cũ từ quá trình huấn luyện. Để có được quyền truy cập web trực tiếp, bạn phải tự xây dựng các trình thu thập dữ liệu (scrapers), quản lý các khóa API và xử lý giới hạn tốc độ (rate limits). Điều này làm lãng phí nhiều tuần làm việc của kỹ sư.
Công cụ AgentCore mới là một lớp được quản lý (managed layer). Nó xử lý danh tính (identity), việc điều tiết lưu lượng (throttling) và căn cứ kết quả (result grounding) cho bạn. Đây là một giải pháp RAG được quản lý trên internet mở.
Tại sao điều này lại quan trọng đối với các kỹ sư:
Phần khó nhất của các AI agent là sự điều phối. Bạn phải quyết định:
- Ai có thể gọi web?
- Điều gì xảy ra khi hết thời gian chờ (timeout)?
- Làm thế nào để đối chiếu dữ liệu cũ với các kết quả mới?
Khoảng cách Điều phối AI (AI Coordination Gap) là một rủi ro thực sự. Nếu bạn có một quy trình (pipeline) gồm 6 bước, trong đó mỗi bước có độ tin cậy 97%, thì tổng độ tin cậy của bạn sẽ giảm xuống còn 83%. Việc thêm vào một internet đầy nhiễu khiến điều này thậm chí còn khó khăn hơn.
Để thành công, bạn phải thiết kế kỹ thuật cho năm lớp sau:
- Retrieval (Truy xuất): Xác định các quy tắc rõ ràng để mô hình biết chính xác khi nào cần tìm kiếm.
- Identity (Danh tính): Sử dụng các thông tin xác thực có phạm vi (scoped credentials) để đảm bảo agent luôn an toàn.
- Fetching (Lấy dữ liệu): Sử dụng tìm kiếm được quản lý để có được các kết quả được xếp hạng và sạch sẽ.
- Memory (Bộ nhớ): Yêu cầu mô hình ưu tiên dữ liệu mới hơn là ngữ cảnh cũ.
- Recovery (Phục hồi): Sử dụng các bộ ngắt mạch (circuit breakers) để agent không bị lặp vô tận và làm cạn kiệt ngân sách của bạn.
Tìm kiếm web là một công cụ để cập nhật độ tươi mới (freshness), không phải là công cụ để tăng độ chính xác. Internet rất nhiễu. Một agent có thể duyệt web thực tế có thể thất bại thường xuyên hơn nếu lớp điều phối của bạn yếu.
Những công ty đang giành chiến thắng nhờ AI không phải là những bên sử dụng các mô hình lớn nhất. Họ là những bên đang giải quyết được vấn đề điều phối.
Optional learning community: https://t.me/GyaanSetuAi