Microsoft đã ra mắt Foundry Toolbox cùng tính năng đi kèm là Tool Search, một dịch vụ đầu cuối duy nhất (single-endpoint service) cho phép các nhà phát triển kết nối các tác nhân AI (AI agents) với hàng trăm công cụ mà không cần phải thiết lập riêng lẻ cho từng tác nhân. Tool Search giúp cắt giảm tới 94% lượng token đầu vào khi danh mục chứa hơn 600 công cụ.

Tại sao một hộp công cụ trung tâm lại quan trọng

Các tác nhân AI cần các khả năng bên ngoài—như cơ sở dữ liệu, CRM, nền tảng phân tích—để thực hiện các yêu cầu của người dùng. Cho đến nay, nhiều tổ chức vẫn kết nối trực tiếp từng tác nhân với các API cần thiết. Các kỹ sư phải lặp lại việc cấu hình thông tin xác thực, thực thi chính sách và mã xử lý lỗi cho mỗi tác nhân mới. Kết quả là một mạng lưới chằng chịt các cài đặt trùng lặp, gây khó khăn cho việc kiểm tra (audit) và dễ dẫn đến các lỗ hổng bảo mật.

Foundry Toolbox thay thế sự chắp vá đó bằng một lớp dịch vụ thống nhất. Thay vì hàng tá tác nhân mỗi tác nhân lại trỏ đến hàng tá đầu cuối riêng biệt, tất cả các tác nhân đều giao tiếp với một đầu cuối “toolbox” duy nhất. Toolbox quản lý việc quản lý phiên bản (versioning), chuỗi kết nối (connection strings) và các chính sách bảo mật, cho phép các nhóm quản lý toàn bộ hệ sinh thái công cụ từ một nơi duy nhất. Các doanh nghiệp vận hành hàng chục tác nhân trên nhiều đơn vị kinh doanh khác nhau sẽ thấy chi phí vận hành giảm xuống ngay lập tức.

Các danh mục công cụ lớn tạo ra một chi phí ẩn: mức sử dụng token. Khi một mô hình ngôn ngữ nhận được một câu lệnh (prompt) liệt kê mọi công cụ hiện có, cửa sổ ngữ cảnh (context window) sẽ phình to ra, tiêu tốn lượng token lẽ ra có thể dành cho việc suy luận hoặc văn bản hiển thị cho người dùng. Tool Search giải quyết vấn đề này ngay từ gốc rễ.

Khi một tác nhân kích hoạt Tool Search, mô hình trước tiên sẽ gọi một siêu công cụ (meta-tool) có tên là tool_search, mô tả bằng tiếng Anh thông thường những gì nó cần (ví dụ: “find the latest sales forecast for region X”). Dịch vụ sẽ trả về một danh sách ngắn, được xếp hạng các công cụ ứng viên phù hợp với ý định đó. Sau đó, mô hình sẽ gọi call_tool, chọn mục phù hợp nhất từ danh sách đó. Bằng cách chỉ hiển thị một tập hợp con có liên quan, câu lệnh sẽ được giữ ở mức tối giản, giúp tiết kiệm tới 94% token đầu vào trong bài kiểm tra chuẩn (benchmark) với 600 công cụ.

Quy trình làm việc hai bước này cũng cải thiện độ chính xác khi lựa chọn. Trong cùng một bài kiểm tra chuẩn, mô hình đã chọn đúng công cụ thường xuyên hơn so với khi nó buộc phải sàng lọc qua toàn bộ danh mục, giúp giảm thiểu các lệnh gọi sai và các lần thử lại không cần thiết.

Cách tận dụng tối đa hộp công cụ

  • Viết metadata chất lượng – Tool Search dựa vào tên và mô tả của từng công cụ. Các nhãn mơ hồ như “Get data” sẽ cung cấp rất ít thông tin cho mô hình. Các tiêu đề chi tiết như “Retrieve customer renewal risks and contacts” sẽ dẫn dắt công cụ tìm kiếm đến kết quả phù hợp nhất.
  • Ghim các công cụ thường xuyên sử dụng – Nếu một tác nhân luôn cần một tiện ích cụ thể trong mỗi lượt, hãy ghim công cụ đó vào cấu hình của tác nhân. Việc ghim sẽ bỏ qua bước tìm kiếm, giúp giảm độ trễ và mức tiêu thụ token.
  • Tổ chức theo khả năng – Thay vì một hộp công cụ khổng lồ bao trùm toàn bộ doanh nghiệp, hãy chia các công cụ thành các nhóm logic (ví dụ: sales-tools, CRM-tools). Các nhóm nhỏ hơn sẽ hạn chế phạm vi ảnh hưởng (blast radius) của các lỗi cấu hình và giữ cho kết quả tìm kiếm luôn tập trung.
  • Kiểm tra trước khi triển khai – Các phiên bản của Toolbox là bất biến (immutable); một khi một phiên bản đã được thiết lập làm mặc định, tất cả các tác nhân sẽ bắt đầu sử dụng nó. Hãy sử dụng đầu cuối dành cho nhà phát triển để xác thực một phiên bản mới một cách độc lập trước khi triển khai trên toàn công ty.

Những phương pháp này quan trọng nhất khi số lượng công cụ tăng lên đến hàng trăm. Đối với một tác nhân duy nhất với một vài tiện ích, kết nối trực tiếp có thể vẫn là con đường đơn giản nhất. Nhưng khi các nhóm nhân sự tăng lên và hộp công cụ mở rộng, mô hình tập trung sẽ mang lại hiệu quả thông qua việc giảm trùng lặp, thắt chặt bảo mật và tiết kiệm token một cách rõ rệt.

Tóm lại: Foundry Toolbox và Tool Search mang đến cho các hệ thống triển khai AI quy mô lớn một cách để kiểm soát sự bùng nổ công cụ, cắt giảm lãng phí token lên đến 94% và thực thi các chính sách bảo mật nhất quán—tất cả chỉ bằng cách thêm vào một lớp dịch vụ duy nhất được quản lý tốt. Những đội ngũ có thể đầu tư vào việc thiết lập ban đầu và kỷ luật về metadata sẽ có được một hệ sinh thái tác nhân tinh gọn và dễ kiểm soát hơn.