Amazon Bedrock এখন ডেভেলপারদের প্রম্পটের অংশ ক্যাশ (cache) করার সুবিধা দিচ্ছে, যা টোকেন ব্যবহারের খরচ ৯০% পর্যন্ত কমিয়ে আনতে পারে এবং যে অ্যাপ্লিকেশনগুলো একটি স্ট্যাটিক প্রম্পট প্রিফিক্স (static prompt prefix) বারবার ব্যবহার করে, সেগুলোর রেসপন্স ল্যাটেন্সি (response latency) ৮৫% পর্যন্ত কমিয়ে দেয়।

কেন এই পরিবর্তনটি গুরুত্বপূর্ণ

অন-ডিমান্ড লার্জ ল্যাঙ্গুয়েজ মডেল চালানোর ক্ষেত্রে প্রতিবার যখন মডেলে টোকেন পাঠানো হয়, তখন খরচ হয়। চ্যাটবট, কোড অ্যাসিস্ট্যান্ট এবং ডকুমেন্ট-সার্চ টুলগুলো প্রায়ই একই সিস্টেম ইনস্ট্রাকশন বা রেফারেন্স ম্যাটেরিয়াল পুনরায় পাঠায়, যা খরচ বাড়িয়ে দেয় এবং রেসপন্স ধীর করে দেয়।

প্রম্পট ক্যাশিং কীভাবে কাজ করে

Bedrock একটি “cacheable” ফ্ল্যাগ যুক্ত করেছে যা ডেভেলপাররা প্রম্পটের যেকোনো অংশে যুক্ত করতে পারেন—সাধারণত সিস্টেম-লেভেল ইনস্ট্রাকশন, দীর্ঘ ব্যাকগ্রাউন্ড ডকুমেন্ট বা টুল ডেফিনিশন যা একটি সেশনের সময় পরিবর্তন হয় না। যখন কোনো রিকোয়েস্ট আসে, Bedrock পরীক্ষা করে দেখে যে ফ্ল্যাগ করা অংশটি সংরক্ষিত কোনো এন্ট্রির সাথে মিলে যায় কি না। যদি মিলে যায়, তবে সার্ভিসটি সেই অংশটি পুনরায় এনকোড করা এবং মডেলের মাধ্যমে পুনরায় চালানোর প্রয়োজন ছাড়াই ক্যাশ থেকে প্রি-কম্পিউটেড রিপ্রেজেন্টেশনটি নিয়ে নেয়।

পরিসংখ্যান

  • ইনপুট-টোকেন খরচ: ৯০% পর্যন্ত হ্রাস, কারণ ক্যাশ করা প্রিফিক্সটি প্রতিটি কলের জন্য আর টোকেন খরচ করে না।
  • ল্যাটেন্সি: ৮৫% পর্যন্ত দ্রুততর, কারণ স্ট্যাটিক অংশের জন্য মডেলের ভারী কাজগুলো এড়ানো সম্ভব হয়।

সবচেয়ে উপযোগী ক্ষেত্রসমূহ

এই ফিচারটি তখনই সবচেয়ে ভালো কাজ করে যখন প্রম্পটে একটি বড়, অপরিবর্তিত অংশ থাকে এবং তার পরে একটি ছোট, পরিবর্তনশীল ইউজার কোয়েরি থাকে। সাধারণ কিছু উদাহরণ হলো:

  • Retrieval-augmented generation (RAG) পাইপলাইন যা প্রতিটি কোয়েরির শুরুতে একটি ফেচ করা ডকুমেন্ট যুক্ত করে।
  • কাস্টমার-সাপোর্ট বট যা সবসময় একই পলিসি স্টেটমেন্ট বা টোন-সেটিং টেক্সট দিয়ে শুরু হয়।
  • কোডিং অ্যাসিস্ট্যান্ট যা ডেভেলপারের কোড স্নিপেটের আগে একটি নির্দিষ্ট ল্যাঙ্গুয়েজ-টুল ডেফিনিশন লোড করে।

ডেভেলপারদের কী পরিবর্তন করতে হবে

ডেভেলপারদের প্রম্পটটি এমনভাবে সাজাতে হবে যাতে স্ট্যাটিক কন্টেন্টটি একদম শুরুতে থাকে এবং প্রতিটি কলের ক্ষেত্রে byte-for-byte অভিন্ন থাকে। ক্যাশ করা প্রিফিক্সের পরে পরিবর্তনশীল ইউজার ইনপুট থাকবে। এর জন্য কোনো মডেল পরিবর্তন করার প্রয়োজন নেই; একই Bedrock এন্ডপয়েন্ট রিকোয়েস্টটি হ্যান্ডেল করবে।

কারা লাভবান হবেন এবং কাদের সতর্ক থাকতে হবে

এর সুবিধা কেবল সেইসব ওয়ার্কলোডের ক্ষেত্রে প্রযোজ্য যেখানে প্রিফিক্সটি সত্যিই স্ট্যাটিক থাকে। যেসব অ্যাপ্লিকেশন প্রতিটি ইউজারের জন্য সিস্টেম ইনস্ট্রাকশন পার্সোনালাইজ করে বা ঘন ঘন কনটেক্সট পরিবর্তন করে, তারা খুব সামান্যই সুবিধা পাবে এবং তাদের এই সামান্য লাভের বিপরীতে প্রম্পটিংয়ের বাড়তি জটিলতাকে বিবেচনা করতে হবে।

সারকথা: প্রম্পট ক্যাশিং Bedrock ব্যবহারকারীদের AI অপারেটিং খরচ কমাতে এবং রেসপন্স টাইম উন্নত করতে একটি সহজ উপায় প্রদান করে, যদি তাদের অ্যাপ্লিকেশনগুলো একটি পুনরায় ব্যবহারযোগ্য প্রম্পট প্রিফিক্স আলাদা করতে পারে।