AWS, Amazon SageMaker Inferenceకి “prefix-aware routing” అనే ఆప్షన్‌ను జోడించింది. ఇది తమ సొంత ఇన్‌ఫ్రాస్ట్రక్చర్‌పై large language models (LLMs) నడిపే కస్టమర్లకు అధిక cache-hit rates మరియు గణనీయంగా తక్కువ latencyని అందిస్తుందని వాగ్దానం చేస్తోంది. ఈ మార్పు చాలా ముఖ్యమైనది, ఎందుకంటే ఇది గణనీయంగా తక్కువ latencyని మరియు తగ్గిన GPU compute ఖర్చులను అందిస్తుంది.

LLM latency ఎందుకు ముఖ్యం

ఒక LLM రిక్వెస్ట్‌ను స్వీకరించినప్పుడు, అది సాధారణంగా మొత్తం prompt పై attentionను మళ్ళీ లెక్కిస్తుంది—ఇది ప్రతి కొత్త tokenతో పెరుగుతూ ఉండే ఖరీదైన ప్రక్రియ. ఒకవేళ మోడల్ మునుపటి రిక్వెస్ట్ నుండి వచ్చిన attention cacheను తిరిగి ఉపయోగించుకోగలిగితే, అది కేవలం టెక్స్ట్ యొక్క కొత్త భాగాన్ని మాత్రమే ప్రాసెస్ చేయాల్సి ఉంటుంది. ఒకే రకమైన system promptను పదేపదే పంపే లేదా conversation historyని నిర్వహించే workloads, cache reuse కోసం ఉత్తమమైన అభ్యర్థులు.

డిఫాల్ట్ SageMaker సెటప్‌లో, వచ్చే రిక్వెస్ట్‌లు inference instances యొక్క పూల్‌లో యాదృచ్ఛికంగా (randomly) పంపిణీ చేయబడతాయి. Random distribution వల్ల, warm cacheను ఉపయోగించుకోగలిగే రిక్వెస్ట్ తరచుగా ఒక cold instanceకు చేరుతుంది, దీనివల్ల పూర్తి recomputation చేయాల్సి వస్తుంది. దీని ఫలితంగా అధిక latency మరియు అదనపు GPU cycles ఖర్చవుతాయి, ఇది నేరుగా అధిక ఖర్చులకు దారితీస్తుంది.

prefix-aware routing ఎలా పనిచేస్తుంది

ఈ కొత్త routing mode ఇటీవలి request prefixes యొక్క తేలికపాటి మ్యాప్‌ను ఉంచుకుంటుంది—ఇది ప్రాథమికంగా ఒక prompt యొక్క మొదటి భాగం, ఇది కాల్స్ అంతటా స్థిరంగా ఉండే అవకాశం ఉంది. కొత్త రిక్వెస్ట్ వచ్చినప్పుడు, SageMaker ఆ మ్యాప్‌ను తనిఖీ చేసి, అదే prefixను ఇప్పటికే ప్రాసెస్ చేసిన instanceకు రిక్వెస్ట్‌ను పంపిస్తుంది. ఆ instance వద్ద సంబంధిత attention cache ఇంకా ఉంటే, మోడల్ ఎక్కువ పనిని దాటవేసి సమాధానాన్ని వేగంగా జనరేట్ చేయగలదు.

ముఖ్య అంశాలు:

  • కోడ్ మార్పులు అవసరం లేదు – ఈ ఫీచర్ పూర్తిగా inference service layerలోనే ఉంటుంది.
  • ఇది self-hosted మోడల్స్‌కు మాత్రమే వర్తిస్తుంది – OpenAI’s API లేదా Anthropic’s service వంటి managed offerings దీనివల్ల ప్రభావితం కావు.
  • అప్లికేషన్లకు ఇది పారదర్శకం – అదే SageMaker endpoint URL మరియు API contract యథాతథంగా ఉంటాయి.

దీని వల్ల ఎవరు ప్రయోజనం పొందుతారు

డేటా ప్రైవసీ నుండి ఖర్చు నియంత్రణ వరకు వివిధ కారణాల కోసం SageMakerపై LLMsను హోస్ట్ చేసే ఎంటర్‌ప్రైజెస్ దీనివల్ల ప్రయోజనం పొందుతాయి. support chatbots, sales assistants, లేదా ఒకే రకమైన fixed system promptను పదేపదే ఉపయోగించే ఏదైనా ఇంటరాక్టివ్ ఏజెంట్‌ను నడిపేవారికి, ఈ routing మార్పు సగటు ప్రతిస్పందన సమయాలను (response times) తగ్గించగలదు. ఖర్చు పరంగా చూస్తే, ప్రతి cache hit అనేది prompt యొక్క ఉమ్మడి భాగాన్ని మళ్ళీ ఎవాల్యుయేట్ చేయకుండా GPUని ఆదా చేస్తుంది.

పరిమితులు మరియు ప్రతికూలతలు

ఈ ప్రయోజనం పదేపదే వచ్చే prefixes లపై ఆధారపడి ఉంటుంది. ఒకేసారి చేసే queries లేదా డైనమిక్‌గా జనరేట్ చేయబడే system messages వంటి ఎక్కువగా మారే prompts ద్వారా అదే cache-hit ప్రయోజనాన్ని పొందలేరు.

ఈ ఫీచర్ self-hosted deploymentsకి మాత్రమే పరిమితం కావడంతో, managed LLM services పై ఆధారపడిన కస్టమర్లు దీనిని ఉపయోగించుకోలేరు.

సారాంశం: Prefix-aware routing అనేది SageMaker వినియోగదారులకు పదేపదే వచ్చే LLM workloads నుండి latencyని తగ్గించుకోవడానికి మరియు GPU ఖర్చులను తగ్గించుకోవడానికి ఒక సులభమైన, zero-code మార్గాన్ని అందిస్తుంది. ఇప్పటికే ఈ ప్లాట్‌ఫారమ్‌పై మోడల్స్‌ను హోస్ట్ చేస్తున్న సంస్థలకు, ఈ అప్‌గ్రేడ్ తక్కువ రిస్క్ కలిగిన మార్పు, ఇది వేగవంతమైన యూజర్ ఇంటరాక్షన్‌లు మరియు తక్కువ బిల్లులకు దారితీయవచ్చు.