Amazon Bedrock હવે ડેવલપર્સને પ્રોમ્પ્ટના ભાગોને કેશ (cache) કરવાની સુવિધા આપે છે, જેનાથી સ્ટેટિક પ્રોમ્પ્ટ પ્રીફિક્સનો ફરીથી ઉપયોગ કરતા એપ્લિકેશન્સ માટે ટોકન-ઉપયોગના બિલમાં 90% સુધીનો ઘટાડો અને પ્રતિસાદ લેટન્સીમાં 85% સુધીનો ઘટાડો થઈ શકે છે.
આ ફેરફાર શા માટે મહત્વપૂર્ણ છે
ઓન-ડિમાન્ડ લાર્જ લેંગ્વેજ મોડલ્સ ચલાવવાનો ખર્ચ દર વખતે જ્યારે મોડલને ટોકન્સ મોકલવામાં આવે છે ત્યારે થાય છે. ચેટબોટ્સ, કોડ આસિસ્ટન્ટ્સ અને ડોક્યુમેન્ટ-સર્ચ ટૂલ્સ ઘણીવાર સમાન સિસ્ટમ સૂચનાઓ અથવા સંદર્ભ સામગ્રી ફરીથી મોકલે છે, જેનાથી ખર્ચ વધે છે અને પ્રતિસાદની ગતિ ધીમી પડે છે.
પ્રોમ્પ્ટ કેશિંગ કેવી રીતે કામ કરે છે
Bedrock એક “cacheable” ફ્લેગ ઉમેરે છે જેને ડેવલપર્સ પ્રોમ્પ્ટના કોઈપણ વિભાગ સાથે જોડી શકે છે—સામાન્ય રીતે સિસ્ટમ-લેવલની સૂચનાઓ, લાંબા બેકગ્રાઉન્ડ ડોક્યુમેન્ટ્સ અથવા ટૂલ ડેફિનેશન જે સત્ર (session) દરમિયાન ક્યારેય બદલાતા નથી. જ્યારે કોઈ રિક્વેસ્ટ આવે છે, ત્યારે Bedrock તપાસે છે કે ફ્લેગ કરેલ વિભાગ સંગ્રહિત એન્ટ્રી સાથે મેળ ખાય છે કે નહીં. જો તે મેળ ખાય છે, તો સેવા તે ભાગને ફરીથી એન્કોડ કરવા અને મોડલ દ્વારા ફરીથી ચલાવવાનું ટાળે છે અને તેના બદલે કેશમાંથી પ્રી-કમ્પ્યુટેડ રિપ્રેઝન્ટેશન મેળવે છે.
આંકડાઓ
- ઇનપુટ-ટોકન ખર્ચ: 90% સુધીનો ઘટાડો કારણ કે કેશ કરેલ પ્રીફિક્સ હવે દરેક કોલ પર ટોકન્સનો વપરાશ કરતું નથી.
- લેટન્સી: 85% સુધી ઝડપી કારણ કે સ્ટેટિક ભાગ માટે મોડલનું ભારે કામ ટાળવામાં આવે છે.
શ્રેષ્ઠ ઉપયોગના કિસ્સાઓ
જ્યારે પ્રોમ્પ્ટમાં એક મોટો, અપરિવર્તિત બ્લોક હોય અને ત્યારબાદ ટૂંકી, બદલાતી યુઝર ક્વેરી હોય ત્યારે આ ફીચર ખૂબ જ ઉપયોગી સાબિત થાય છે. સામાન્ય પેટર્નમાં નીચેનાનો સમાવેશ થાય છે:
- Retrieval-augmented generation (RAG) પાઇપલાઇન્સ જે દરેક ક્વેરીની આગળ મેળવેલ ડોક્યુમેન્ટ ઉમેરે છે.
- કસ્ટમર-સપોર્ટ બોટ્સ જે હંમેશા સમાન પોલિસી સ્ટેટમેન્ટ અથવા ટોન-સેટિંગ ટેક્સ્ટ સાથે શરૂ થાય છે.
- કોડિંગ આસિસ્ટન્ટ્સ જે ડેવલપરના સ્નિપેટ (snippet) પહેલા નિશ્ચિત લેંગ્વેજ-ટૂલ ડેફિનેશન લોડ કરે છે.
ડેવલપર્સએ શું બદલવાની જરૂર છે
ડેવલપર્સે પ્રોમ્પ્ટને ફરીથી ક્રમબદ્ધ કરવો જોઈએ જેથી સ્ટેટિક કન્ટેન્ટ બિલકુલ શરૂઆતમાં રહે અને દરેક કોલ દરમિયાન બાઇટ-ટુ-બાઇટ (byte-for-byte) સમાન રહે. બદલાતું યુઝર ઇનપુટ કેશ કરેલ પ્રીફિક્સ પછી આવશે. કોઈ મોડલ બદલવાની જરૂર નથી; સમાન Bedrock એન્ડપોઇન્ટ્સ રિક્વેસ્ટ હેન્ડલ કરે છે.
કોને ફાયદો થશે અને કોણે સાવધ રહેવું જોઈએ
આ ફાયદો ફક્ત એવા વર્કલોડ્સ માટે જ લાગુ પડે છે જ્યાં પ્રીફિક્સ ખરેખર સ્ટેટિક રહે છે. જે એપ્લિકેશન્સ યુઝર મુજબ સિસ્ટમ સૂચનાઓને પર્સનલાઇઝ કરે છે અથવા વારંવાર સંદર્ભ (context) બદલે છે, તેમને બહુ ઓછો ફાયદો થશે અને તેમણે વધારાની પ્રોમ્પ્ટિંગ જટિલતા સામે મળતા સામાન્ય ફાયદાઓનું તુલનાત્મક મૂલ્ય તપાસવું પડશે.
સારાંશ: જો તેમની એપ્લિકેશન્સ ફરીથી ઉપયોગ કરી શકાય તેવા પ્રોમ્પ્ટ પ્રીફિક્સને અલગ કરી શકે, તો પ્રોમ્પ્ટ કેશિંગ Bedrock વપરાશકર્તાઓને AI ઓપરેટિંગ ખર્ચ ઘટાડવા અને પ્રતિસાદના સમયમાં સુધારો કરવા માટે એક સરળ માધ્યમ પૂરું પાડે છે.