Amazon Bedrock AgentCore Web Search: Hướng dẫn triển khai thực tế
Tác nhân AI của bạn không bị ảo giác vì mô hình của bạn kém. Nó bị ảo giác vì kiến trúc của bạn đã bị đóng băng theo thời gian.
Hầu hết các pipeline RAG chỉ là những giải pháp tạm thời đắt đỏ cho dữ liệu cũ. AWS hiện đã cung cấp một giải pháp: Web Search trên Amazon Bedrock AgentCore. Đây là một công cụ được quản lý giúp các tác nhân của bạn có quyền truy cập web trực tiếp.
Tại sao điều này lại quan trọng:
Khoảng cách giữa những gì một LLM biết và những gì người dùng hỏi đang lớn dần lên mỗi ngày. Khoảng cách này biến các tác nhân thành những cỗ máy gây rủi ro.
Những gì bạn nhận được với AgentCore Web Search:
- Truy cập có cấu trúc vào các kết quả web trực tiếp.
- Không cần các trình thu thập dữ liệu (crawlers) tùy chỉnh.
- Không cần các hợp đồng API tìm kiếm của bên thứ ba.
- Không cần thanh toán riêng biệt.
- Chỉ một lần gọi SDK cho việc thu thập, xếp hạng và thanh toán.
Hãy ngừng trả "Thuế đóng băng kiến thức" (Knowledge Freeze Tax). Đây là cái giá của việc sử dụng dữ liệu cũ. Nó biểu hiện qua các câu trả lời sai, lãng phí giờ công kỹ thuật và độ trễ cao.
Cách xây dựng một pipeline đạt chuẩn triển khai thực tế:
Phân loại ý định (Intent Classification): Sử dụng một bộ định tuyến (router) để quyết định xem một truy vấn cần web trực tiếp, RAG nội bộ hay dữ liệu có cấu trúc. Đừng chạy tìm kiếm web cho mọi truy vấn nếu không bạn sẽ đốt sạch ngân sách của mình.
Gọi Web Search (Web Search Invocation): Công cụ sẽ trả về tiêu đề, URL, đoạn trích (snippets) và mốc thời gian (timestamps).
Tổng hợp kết quả (Result Synthesis): Đưa các đoạn trích và mốc thời gian vào mô hình. Bạn phải bao gồm mốc thời gian để mô hình biết liệu nguồn đó có cũ hay không.
Khả năng quan sát (Observability): Sử dụng Langfuse để truy vết xem kết quả web nào đã ảnh hưởng đến câu trả lời của bạn. Điều này rất quan trọng đối với việc tuân thủ trong doanh nghiệp.
Các mẹo kỹ thuật chính:
- Sử dụng Web Search cho các sự kiện nhanh.
- Chỉ sử dụng Browser Tool cho các trang JavaScript phức tạp hoặc các trang yêu cầu đăng nhập. Sử dụng Browser Tool cho các truy vấn đơn giản sẽ làm tăng độ trễ từ 3 đến 8 giây.
- Kiểm tra quyền IAM của bạn. Đảm bảo bạn có quyền
bedrock-agentcore:InvokeWebSearch. - Sử dụng phương pháp tiếp cận hybrid. Sử dụng Web Search cho dữ liệu bên ngoài và RAG cho các tài liệu nội bộ, riêng tư của bạn.
Mục tiêu không phải là sử dụng tìm kiếm web nhiều nhất có thể. Mục tiêu là xây dựng một bộ định tuyến đủ thông minh để chỉ sử dụng nó khi thực sự cần thiết.
Optional learning community: https://t.me/GyaanSetuAi