𝗠𝗖𝗣 𝗗𝗶𝗿𝘁𝘆 𝗦𝗲𝗰𝗿𝗲𝘁: 𝗔𝗴𝗲𝗻𝘁 𝗰𝘂̉𝗮 𝗯𝗮̣𝗻 đ𝗮𝗻𝗴 đ𝗼̂́𝘁 𝘀𝗮̣𝗰𝗵 𝘁𝗼𝗸𝗲𝗻
Agent AI của bạn đang phải trả một loại "thuế ẩn" mỗi khi nó gọi một MCP server. Loại thuế này không tính bằng đô la, mà tính bằng token.
Nếu bạn vận hành các agent ở quy mô lớn, chi phí này sẽ tăng lên rất nhanh. Tôi đã theo dõi mức sử dụng token của mình và thấy những đợt tăng vọt khổng lồ. Vấn đề không nằm ở khả năng suy luận của mô hình. Vấn đề nằm ở chi phí overhead của ngữ cảnh (context overhead).
Khi bạn kết nối một agent với một MCP server, server đó sẽ gửi các định nghĩa công cụ (tool definitions) vào system prompt. Những định nghĩa này bao gồm mọi tham số và mô tả.
Nếu bạn sử dụng 5 MCP server, mỗi server có 20 công cụ, bạn sẽ cộng thêm tới 15.000 token vào mỗi lượt hội thoại. Điều này xảy ra ngay cả trước khi mô hình kịp phản hồi.
Dưới đây là dữ liệu từ một bài kiểm tra hội thoại 10 lượt:
• Không dùng MCP: 2.400 token mỗi lượt • 3 MCP server: 18.700 token mỗi lượt • 5 MCP server: 31.200 token mỗi lượt
Với mức giá hiện tại, một đội ngũ chạy 50 cuộc hội thoại mỗi ngày với 5 server có thể tốn tới 23.400 USD mỗi tháng chỉ riêng cho chi phí overhead của MCP.
Điều này gây ra hai vấn đề chính:
- Chất lượng giảm sút. Khi các schema công cụ chiếm tới 40% cửa sổ ngữ cảnh (context window), mô hình sẽ có ít không gian hơn cho lịch sử hội thoại. Mô hình bắt đầu quên các thông tin trước đó vì hết dung lượng.
- Chi phí cố định. Bạn phải trả toàn bộ chi phí cho các system prompt này trong mỗi lượt hội thoại.
Dưới đây là ba cách để khắc phục điều này:
Sử dụng Gateway Đừng tải tất cả các định nghĩa công cụ cùng một lúc. Hãy sử dụng một gateway để chỉ đưa vào những công cụ cần thiết cho tác vụ hiện tại. Việc này có thể giảm chi phí overhead từ 8.000 token xuống còn 400 token cho mỗi lần gọi.
Sử dụng Intent Classifier Hãy chạy một lệnh gọi mô hình rẻ tiền trước để quyết định server nào là phù hợp. Một chi phí nhỏ cho bộ phân loại (classifier) có thể cắt giảm 60% đến 80% chi phí overhead của MCP.
Nén Schema của bạn Các schema của MCP sử dụng rất nhiều từ ngữ. Hãy lược bỏ các mô tả, chỉ giữ lại các danh từ thiết yếu. Loại bỏ các trường ví dụ (example fields). Tôi nhận thấy rằng một schema 400 token có thể hoạt động hoàn hảo chỉ với 120 token nếu bạn đơn giản hóa văn bản.
Đừng coi ngữ cảnh là vô hạn. Ngân sách ngữ cảnh (context budget) chính là cơ sở hạ tầng. Hãy quản lý nó như một loại chi phí thực tế.
Bạn xử lý chi phí overhead của MCP như thế nào trong các agent thực tế của mình? Hãy cho tôi biết ở phần bình luận nhé.
Optional learning community: https://t.me/GyaanSetuAi