يتيح Amazon Bedrock الآن للمطورين تخزين أجزاء من المطالبة (prompt) مؤقتًا، مما يقلل فواتير استخدام الرموز (tokens) بنسبة تصل إلى 90% ويخفض زمن استجابة التطبيقات التي تعيد استخدام بادئة مطالبة ثابتة بنسبة تصل إلى 85%.

لماذا يمثل هذا التغيير أهمية

إن تشغيل النماذج اللغوية الكبيرة عند الطلب يكلف مالاً في كل مرة يتم فيها إرسال الرموز (tokens) إلى النموذج. فغالبًا ما تعيد روبوتات الدردشة، ومساعدي البرمجة، وأدوات البحث في المستندات إرسال نفس تعليمات النظام أو المواد المرجعية، مما يؤدي إلى تضخم الإنفاق وإبطاء الاستجابات.

كيف تعمل خاصية تخزين المطالبات مؤقتًا

يضيف Bedrock علامة "cacheable" يلحقها المطورون بأي جزء من المطالبة — وعادة ما تكون تعليمات على مستوى النظام، أو مستندات خلفية طويلة، أو تعريفات للأدوات لا تتغير أبدًا خلال الجلسة. وعند وصول طلب ما، يتحقق Bedrock مما إذا كان الجزء المحدد يطابق إدخالًا مخزنًا. وإذا كان الأمر كذلك، تتخطى الخدمة عملية إعادة الترميز وإعادة تشغيل ذلك الجزء عبر النموذج، وتستخرج التمثيل المحسوب مسبقًا من ذاكرة التخزين المؤقت بدلاً من ذلك.

الأرقام

  • تكلفة رموز الإدخال (Input-token cost): انخفاض يصل إلى 90% لأن البادئة المخزنة مؤقتًا لم تعد تستهلك رموزًا في كل استدعاء.
  • زمن الاستجابة (Latency): أسرع بنسبة تصل إلى 85% نظرًا لتجنب العمليات الحسابية الثقيلة للنموذج في الجزء الثابت.

أفضل سيناريوهات الاستخدام

تبرز أهمية هذه الميزة عندما تحتوي المطالبة على كتلة كبيرة وغير متغيرة تليها استعلامات مستخدم قصيرة ومتغيرة. وتشمل الأنماط الشائعة ما يلي:

  • مسارات التوليد المعزز بالاسترجاع (RAG) التي تضع مستندًا مسترجعًا قبل كل استعلام.
  • روبوتات دعم العملاء التي تبدأ دائمًا بنفس بيان السياسة أو النص المحدد لنبرة الحوار.
  • مساعدو البرمجة الذين يقومون بتحميل تعريف ثابت لأداة لغة قبل مقتطف الكود الخاص بالمطور.

ما الذي يحتاج المطورون إلى تغييره

يجب على المطورين إعادة ترتيب المطالبة بحيث يوضع المحتوى الثابت في البداية تمامًا ويظل متطابقًا تمامًا (byte-for-byte) عبر الاستدعاءات. ويتبع مدخل المستخدم المتغير البادئة المخزنة مؤقتًا. لا يتطلب الأمر تبديل النموذج؛ حيث تتعامل نقاط نهاية Bedrock نفسها مع الطلب.

من المستفيد، ومن يجب عليه الحذر

تنطبق الفائدة فقط على أعباء العمل التي تظل فيها البادئة ثابتة حقًا. أما التطبيقات التي تخصص تعليمات النظام لكل مستخدم أو تغير السياق بشكل متكرر، فستجني فائدة ضئيلة، ويجب عليها موازنة التعقيد الإضافي في صياغة المطالبات مقابل المكاسب المتواضعة.

الخلاصة: يمنح تخزين المطالبات مؤقتًا مستخدمي Bedrock أداة مباشرة لتقليص تكاليف تشغيل الذكاء الاصطناعي وتحسين أوقات الاستجابة، بشرط أن تتمكن تطبيقاتهم من عزل بادئة مطالبة قابلة لإعادة الاستخدام.