Amazon Bedrock ఇప్పుడు డెవలపర్‌లు ప్రాంప్ట్‌లోని భాగాలను క్యాష్ (cache) చేసుకునే సౌలభ్యాన్ని కల్పిస్తోంది. దీనివల్ల స్టాటిక్ ప్రాంప్ట్ ప్రిఫిక్స్‌ను (static prompt prefix) మళ్లీ మళ్లీ ఉపయోగించే అప్లికేషన్ల కోసం టోకెన్ వినియోగ బిల్లులు 90% వరకు తగ్గుతాయి మరియు రెస్పాన్స్ లేటెన్సీ (response latency) 85% వరకు తగ్గుతుంది.

ఈ మార్పు ఎందుకు ముఖ్యం

డిమాండ్ మేరకు లార్జ్ లాంగ్వేజ్ మోడల్స్‌ను (LLMs) నడపడం వల్ల, ప్రతిసారీ మోడల్‌కు టోకెన్లను పంపినప్పుడు ఖర్చు అవుతుంది. చాట్‌బాట్‌లు, కోడ్ అసిస్టెంట్‌లు మరియు డాక్యుమెంట్-సెర్చ్ టూల్స్ తరచుగా ఒకే రకమైన సిస్టమ్ సూచనలను లేదా రిఫరెన్స్ మెటీరియల్‌ను మళ్లీ పంపుతుంటాయి, దీనివల్ల ఖర్చు పెరగడమే కాకుండా రెస్పాన్స్ వేగం కూడా తగ్గుతుంది.

ప్రాంప్ట్ క్యాషింగ్ ఎలా పనిచేస్తుంది

Bedrock ఒక “cacheable” ఫ్లాగ్‌ను జోడిస్తుంది, దీనిని డెవలపర్‌లు ప్రాంప్ట్‌లోని ఏదైనా విభాగానికి అనుసంధానించవచ్చు—సాధారణంగా సిస్టమ్-లెవల్ సూచనలు, సుదీర్ఘమైన బ్యాక్‌గ్రౌండ్ డాక్యుమెంట్లు లేదా సెషన్‌లో ఎప్పుడూ మారని టూల్ డెఫినిషన్లకు దీనిని ఉపయోగిస్తారు. ఒక రిక్వెస్ట్ వచ్చినప్పుడు, Bedrock ఆ ఫ్లాగ్ చేసిన విభాగం స్టోర్ చేయబడిన ఎంట్రీతో సరిపోలుతుందో లేదో తనిఖీ చేస్తుంది. ఒకవేళ సరిపోలితే, ఆ భాగాన్ని మళ్లీ ఎన్‌కోడ్ చేయడం మరియు మోడల్ ద్వారా రన్ చేయడం వంటి పనులను సర్వీస్ వదిలేస్తుంది, దానికి బదులుగా క్యాష్ నుండి ముందే లెక్కించిన (pre-computed) రిప్రజెంటేషన్‌ను తీసుకుంటుంది.

గణాంకాలు

  • Input-token cost: 90% వరకు తగ్గింపు, ఎందుకంటే క్యాష్ చేయబడిన ప్రిఫిక్స్ ప్రతి కాల్‌లో టోకెన్లను వినియోగించదు.
  • Latency: 85% వరకు వేగవంతం, ఎందుకంటే స్టాటిక్ భాగం కోసం మోడల్ యొక్క భారీ పనులను (heavy lifting) నివారించవచ్చు.

ఉత్తమంగా సరిపోయే సందర్భాలు

ప్రాంప్ట్‌లో ఒక పెద్ద, మార్పులేని బ్లాక్ మరియు దాని తర్వాత ఒక చిన్న, మారుతూ ఉండే యూజర్ క్వెరీ ఉన్నప్పుడు ఈ ఫీచర్ అద్భుతంగా పనిచేస్తుంది. సాధారణ నమూనాలు ఇవి:

  • ప్రతి క్వెరీకి ఒక ఫెచ్ చేయబడిన డాక్యుమెంట్‌ను ముందుగా జోడించే Retrieval-augmented generation (RAG) పైప్‌లైన్‌లు.
  • ఎల్లప్పుడూ ఒకే పాలసీ స్టేట్‌మెంట్ లేదా టోన్-సెట్టింగ్ టెక్స్ట్‌తో ప్రారంభమయ్యే కస్టమర్-సపోర్ట్ బాట్‌లు.
  • డెవలపర్ యొక్క కోడ్ స్నిప్పెట్‌కు ముందు ఒక ఫిక్స్‌డ్ లాంగ్వేజ్-టూల్ డెఫినిషన్‌ను లోడ్ చేసే కోడింగ్ అసిస్టెంట్‌లు.

డెవలపర్‌లు ఏమి మార్చాలి

డెవలపర్‌లు ప్రాంప్ట్‌ను తిరిగి క్రమబద్ధీకరించాలి (reorder), తద్వారా స్టాటిక్ కంటెంట్ ప్రాంప్ట్ ప్రారంభంలోనే ఉంటుంది మరియు ప్రతి కాల్‌లో అది బైట్-టు-బైట్ (byte-for-byte) ఒకేలా ఉంటుంది. క్యాష్ చేయబడిన ప్రిఫిక్స్ తర్వాత మారుతూ ఉండే యూజర్ ఇన్‌పుట్ వస్తుంది. దీని కోసం మోడల్‌ను మార్చాల్సిన అవసరం లేదు; అదే Bedrock ఎండ్‌పాయింట్లు రిక్వెస్ట్‌ను హ్యాండిల్ చేస్తాయి.

ఎవరికి లాభం, ఎవరు జాగ్రత్తగా ఉండాలి

ప్రిఫిక్స్ నిజంగా స్టాటిక్‌గా ఉండే వర్క్‌లోడ్‌లకు మాత్రమే దీని వల్ల ప్రయోజనం ఉంటుంది. ప్రతి యూజర్‌కు సిస్టమ్ సూచనలను వ్యక్తిగతీకరించే (personalize) లేదా సందర్భాన్ని (context) తరచుగా మార్చే అప్లికేషన్లకు తక్కువ ప్రయోజనం ఉంటుంది మరియు అదనపు ప్రాంప్టింగ్ సంక్లిష్టతను తక్కువ లాభాలతో పోల్చి చూసుకోవాలి.

ముగింపు: తమ అప్లికేషన్‌లు మళ్లీ ఉపయోగించదగిన ప్రాంప్ట్ ప్రిఫిక్స్‌ను వేరు చేయగలిగితే, ప్రాంప్ట్ క్యాషింగ్ Bedrock వినియోగదారులకు AI నిర్వహణ ఖర్చులను తగ్గించుకోవడానికి మరియు రెస్పాన్స్ సమయాలను మెరుగుపరచుకోవడానికి ఒక సులభమైన మార్గాన్ని అందిస్తుంది.