أضافت AWS ميزة "الضغط الواعي بالاستعلام" (query-aware compression) إلى خدمة Bedrock الخاصة بها، مما يتيح للمطورين تقليص أجزاء المستندات غير ذات الصلة قبل وصولها إلى النموذج اللغوي. ومن خلال تقليل عدد الـ tokens التي تنتقل إلى النموذج، يمكن لهذه الميزة خفض فاتورة الحوسبة لمسارات التوليد المعزز بالاسترجاع (RAG).

لماذا تستهلك مسارات RAG الكثير من المال

تقوم أنظمة RAG أولاً بسحب فقرات نصية من قاعدة معرفية، ثم تغذي تلك الفقرات نموذجاً توليدياً للإجابة على سؤال المستخدم. ترسل معظم عمليات التنفيذ كل جزء مسترجع مباشرة إلى النموذج، حتى عندما لا يكون لأجزاء كبيرة من النص أي علاقة بالاستعلام. تصبح كل كلمة إضافية عبارة عن token، وكل token يعالجه النموذج يضيف إلى الرسوم المفروضة على الـ API الأساسي. بالنسبة للشركات الصغيرة والمتوسطة التي تشغل بوتات الدعم أو أدوات البحث الداخلية، يمكن أن تتجاوز نفقات الـ tokens بسرعة تكلفة استدعاءات النموذج نفسها.

ما يفعله الضغط الواعي بالاستعلام

تضيف قدرة Bedrock الجديدة خطوة تصفية بين عملية الاسترجاع وعملية التوليد:

  • لا يزال النظام يسحب نفس المجموعة من المستندات للاستعلام.
  • قبل أن يرى النموذج أي نص، يقوم معالج خفيف الوزن بتقييم كل فقرة مقابل السؤال المحدد.
  • يتم الاحتفاظ فقط بالأجزاء التي تُعتبر ذات صلة؛ ويتم التخلص من أي شيء آخر باعتباره ضجيجاً.

لا تحتاج إلى فهرس جديد، أو نموذج تضمين (embedding model)، أو نموذج لغوي مضبوط بدقة (fine-tuned). التغيير ببساطة هو إعادة هيكلة المسار لاستدعاء طبقة الضغط.

الأثر التجاري

بما أن رسوم الـ tokens تزداد مع كمية النص المرسل إلى النموذج، فإن إزالة المقتطفات غير ذات الصلة يمكن أن تقلص الفاتورة بنداً تلو الآخر. وستشهد الشركات التي راقبت تضخم تكاليف RAG لديها مع توسع الاستخدام أكبر استفادة.

ما يجب مراقبته لاحقاً

  • تجربة الميزة على بياناتك الخاصة: قم بإجراء اختبار مقارن بين تدفق RAG قياسي وتدفق يتضمن الضغط الواعي بالاستعلام. قم بقياس عدد الـ tokens، وزمن الاستجابة (latency)، ومدى صلة الإجابة.
  • شفافية الموردين: عند تقييم منصات RAG التابعة لجهات خارجية، اسأل عما إذا كانوا يستخدمون الضغط أو التصفية في مسارات الاسترجاع الخاصة بهم. المورد الذي يرسل أجزاء خام (raw chunks) من المرجح أن يصدر فواتير شهرية أعلى.

الخلاصة

يمكن لتعديل بسيط في المسار — تصفية النص غير ذي الصلة قبل وصوله إلى النموذج — أن يحول المصروف الخفي إلى بند يمكن التحكم فيه. بالنسبة للمؤسسات التي تدفع بالفعل مقابل RAG القائم على Bedrock، فإن تفعيل الضغط الواعي بالاستعلام هو تجربة قليلة الجهد، ولكن أي توفير سيعتمد على بياناتك الخاصة.