AWS đã bổ sung tính năng nén nhận biết truy vấn (query-aware compression) vào dịch vụ Bedrock, cho phép các nhà phát triển cắt tỉa các đoạn tài liệu không liên quan trước khi chúng được gửi đến mô hình ngôn ngữ. Bằng cách giảm bớt số lượng token truyền đến mô hình, tính năng này có thể hạ thấp hóa đơn tính toán cho các quy trình Retrieval-Augmented Generation (RAG).

Tại sao các quy trình RAG lại gây tốn kém chi phí

Các hệ thống RAG trước tiên sẽ lấy các đoạn văn bản từ một cơ sở kiến thức, sau đó đưa các đoạn đó vào một mô hình tạo sinh để trả lời câu hỏi của người dùng. Hầu hết các triển khai đều gửi trực tiếp mọi đoạn dữ liệu đã truy xuất đến mô hình, ngay cả khi phần lớn văn bản không liên quan gì đến truy vấn. Mỗi từ thừa đều trở thành một token, và mỗi token mà mô hình xử lý đều làm tăng chi phí sử dụng API nền tảng. Đối với các công ty vừa và nhỏ đang vận hành bot hỗ trợ hoặc các công cụ tìm kiếm nội bộ, chi phí cho token có thể nhanh chóng vượt xa chi phí gọi mô hình.

Tính năng nén nhận biết truy vấn hoạt động như thế nào

Khả năng mới của Bedrock chèn một bước lọc vào giữa quá trình truy xuất (retrieval) và tạo sinh (generation):

  • Hệ thống vẫn lấy cùng một tập hợp các tài liệu cho một truy vấn.
  • Trước khi mô hình tiếp nhận bất kỳ văn bản nào, một bộ xử lý nhẹ sẽ đánh giá từng đoạn văn dựa trên câu hỏi cụ thể.
  • Chỉ những phần được đánh giá là có liên quan mới được giữ lại; tất cả những phần còn lại sẽ bị loại bỏ vì là nhiễu.

Bạn không cần một chỉ mục (index) mới, một mô hình embedding, hay một mô hình ngôn ngữ đã được tinh chỉnh (fine-tuned). Thay đổi này đơn giản chỉ là kết nối lại quy trình để kích hoạt lớp nén.

Tác động đến doanh nghiệp

Vì phí token tăng tỉ lệ thuận với lượng văn bản gửi đến mô hình, việc loại bỏ các đoạn không liên quan có thể giúp cắt giảm hóa đơn theo từng dòng. Những công ty từng chứng kiến chi phí RAG tăng vọt khi quy mô sử dụng mở rộng sẽ thấy được lợi ích lớn nhất.

Những điều cần lưu ý tiếp theo

  • Thử nghiệm tính năng trên dữ liệu của chính bạn: Thực hiện kiểm tra song song giữa quy trình RAG tiêu chuẩn và quy trình có bao gồm nén nhận biết truy vấn. Hãy đo lường số lượng token, độ trễ và mức độ liên quan của câu trả lời.
  • Sự minh bạch của nhà cung cấp: Khi đánh giá các nền tảng RAG của bên thứ ba, hãy hỏi xem họ có sử dụng nén hoặc lọc trong các quy trình truy xuất hay không. Một nhà cung cấp gửi các đoạn dữ liệu thô thường sẽ tạo ra hóa đơn hàng tháng cao hơn.

Tóm lại

Một thay đổi nhỏ trong quy trình—lọc bỏ văn bản không liên quan trước khi nó đến mô hình—có thể biến một khoản chi phí ẩn thành một mục chi phí có thể kiểm soát được. Đối với các tổ chức đang trả phí cho RAG dựa trên Bedrock, việc kích hoạt nén nhận biết truy vấn là một thử nghiệm ít tốn công sức, nhưng mức tiết kiệm được sẽ phụ thuộc vào dữ liệu cụ thể của bạn.