Amazon Bedrock اب ڈویلپرز کو پرامپٹ کے حصوں کو کیش (cache) کرنے کی اجازت دیتا ہے، جس سے ٹوکن استعمال کے بلوں میں 90% تک کمی آتی ہے اور ان ایپلی کیشنز کے لیے رسپانس لیٹنسی (response latency) میں 85% تک کی بچت ہوتی ہے جو ایک اسٹیٹک پرامپٹ پریفکس (static prompt prefix) کو دوبارہ استعمال کرتی ہیں۔

یہ تبدیلی کیوں اہم ہے

ڈیمانڈ پر لارج لینگویج ماڈلز (LLMs) چلانے پر ہر بار ٹوکنز ماڈل کو بھیجے جانے پر رقم خرچ ہوتی ہے۔ چیٹ بوٹس، کوڈ اسسٹنٹس، اور دستاویزات تلاش کرنے والے ٹولز اکثر ایک ہی سسٹم ہدایات یا حوالہ جاتی مواد دوبارہ بھیجتے ہیں، جس سے اخراجات بڑھ جاتے ہیں اور رسپانس کی رفتار سست ہو جاتی ہے۔

پرامپٹ کیشنگ کیسے کام کرتی ہے

Bedrock ایک "cacheable" فلیگ شامل کرتا ہے جسے ڈویلپرز پرامپٹ کے کسی بھی حصے کے ساتھ منسلک کر سکتے ہیں—عام طور پر سسٹم لیول کی ہدایات، طویل پس منظر کی دستاویزات، یا ٹول ڈیفینیشنز جو سیشن کے دوران کبھی نہیں بدلتی ہیں۔ جب کوئی درخواست آتی ہے، تو Bedrock چیک کرتا ہے کہ آیا فلیگ شدہ حصہ کسی محفوظ انٹری سے مطابقت رکھتا ہے۔ اگر ایسا ہے، تو سروس اس حصے کو دوبارہ انکوڈ کرنے اور ماڈل کے ذریعے دوبارہ چلانے کے بجائے کیش سے پہلے سے تیار شدہ نمائندگی (pre-computed representation) حاصل کر لیتی ہے۔

اعداد و شمار

  • ان پٹ ٹوکن لاگت: 90% تک کمی، کیونکہ کیش شدہ پریفکس اب ہر کال پر ٹوکنز استعمال نہیں کرتا۔
  • لیٹنسی (Latency): 85% تک تیزی، کیونکہ اسٹیٹک حصے کے لیے ماڈل کی بھاری محنت سے بچا جا سکتا ہے۔

بہترین استعمال کے منظرنامے

یہ فیچر اس وقت بہترین کام کرتا ہے جب پرامپٹ میں ایک بڑا، غیر متبدل بلاک ہو جس کے بعد صارف کی ایک مختصر اور متغیر (variable) کوئری ہو۔ عام پیٹرنز میں شامل ہیں:

  • Retrieval-augmented generation (RAG) پائپ لائنز جو ہر کوئری کے ساتھ ایک حاصل شدہ دستاویز شامل کرتی ہیں۔
  • کسٹمر سپورٹ بوٹس جو ہمیشہ ایک ہی پالیسی بیان یا لہجہ طے کرنے والے متن سے شروع ہوتے ہیں۔
  • کوڈنگ اسسٹنٹس جو ڈویلپر کے کوڈ اسنیپٹ سے پہلے ایک فکسڈ لینگویج ٹول ڈیفینیشن لوڈ کرتے ہیں۔

ڈویلپرز کو کیا تبدیل کرنے کی ضرورت ہے

ڈویلپرز کو پرامپٹ کی ترتیب بدلنی ہوگی تاکہ اسٹیٹک مواد بالکل شروع میں ہو اور تمام کالز کے دوران بائٹ بہ بائٹ (byte-for-byte) یکساں رہے۔ متغیر صارف ان پٹ کیش شدہ پریفکس کے بعد آئے گا۔ کسی ماڈل کی تبدیلی کی ضرورت نہیں ہے؛ وہی Bedrock اینڈ پوائنٹس درخواست کو ہینڈل کرتے ہیں۔

فائدہ کسے ہوگا، اور کنہیں محتاط رہنا چاہیے

اس کا فائدہ صرف ان ورک لوڈز پر ہوتا ہے جہاں پریفکس واقعی اسٹیٹک رہتا ہے۔ وہ ایپلی کیشنز جو صارف کے مطابق سسٹم ہدایات کو تبدیل کرتی ہیں یا بار بار سیاق و سباق (context) بدلتی ہیں، انہیں بہت کم فائدہ ہوگا اور انہیں معمولی فائدے کے مقابلے میں پرامپٹنگ کی بڑھتی ہوئی پیچیدگی کو تولنا ہوگا۔

خلاصہ: پرامپٹ کیشنگ Bedrock صارفین کو AI آپریشنل اخراجات کو کم کرنے اور رسپانس کے وقت کو بہتر بنانے کے لیے ایک سیدھا راستہ فراہم کرتی ہے، بشرطیکہ ان کی ایپلی کیشنز ایک دوبارہ استعمال ہونے والے پرامپٹ پریفکس کو الگ کر سکیں۔