Microsoft, Azure API Management (APIM)కి ప్రత్యేకమైన AI Gateway tierని జోడించింది. ఈ చర్య ద్వారా LLM కాల్స్ను కేవలం మరొక API ఎండ్పాయింట్గా కాకుండా, ఒక ప్రత్యేక వర్క్లోడ్గా పరిగణిస్తున్నట్లు స్పష్టమవుతోంది.
ఎందుకు LLM ట్రాఫిక్ సాంప్రదాయ గేట్వేలకు సవాలుగా మారుతుంది
ఒకే ప్రాంప్ట్ మరొక దానికంటే వంద రెట్లు ఎక్కువ ఖర్చు చేయవచ్చు, అయినప్పటికీ ఒక సాధారణ API గేట్వే రెండింటినీ ఒకే రిక్వెస్ట్గా చూస్తుంది. గేట్వే కాల్స్ను మాత్రమే లెక్కిస్తుంది, మోడల్ ప్రాసెస్ చేసే టోకెన్ల సంఖ్యను కాదు. కొన్ని వందల టోకెన్లను పంపే రిక్వెస్ట్ మరియు వేల సంఖ్యలో టోకెన్లను పంపే రిక్వెస్ట్ రెండూ ఒకే రకమైన రిక్వెస్ట్-కౌంట్ మెట్రిక్స్ను చూపుతాయి, కానీ రెండవదాని ఖర్చు చాలా ఎక్కువగా ఉండవచ్చు.
AI కోసం రిక్వెస్ట్-ఆధారిత పరిమితులు పనికిరాకుండా చేసే నాలుగు వాస్తవాలు:
- ఖర్చు ≠ రిక్వెస్ట్ కౌంట్. బిల్లింగ్ అనేది మీరు చేసే HTTP కాల్స్పై కాకుండా, టోకెన్లపై ఆధారపడి ఉంటుంది.
- టోకెన్ వాల్యూమ్ విపరీతంగా మారుతుంది. ఒక క్వెరీ చిన్న ప్రశ్న కావచ్చు; మరొకటి పెద్ద డాక్యుమెంట్ను కలిగి ఉండవచ్చు.
- మోడల్ ఎంపిక ధరను మారుస్తుంది. వేర్వేరు LLMలు ప్రతి టోకెన్కు వేర్వేరు ధరలను వసూలు చేస్తాయి.
- స్ట్రీమింగ్ వల్ల తుది బిల్లు తెలియదు. రెస్పాన్స్లు స్ట్రీమ్ అవుతున్నప్పుడు, స్ట్రీమ్ ముగిసే వరకు మొత్తం టోకెన్ల సంఖ్య తెలియదు.
మీరు కేవలం రిక్వెస్ట్లను మాత్రమే కొలుస్తూ ఉంటే, మీ అసలు ఖర్చు గురించి మీకు ఎటువంటి సమాచారాన్ని అందించని మానిటరింగ్ డేటా మాత్రమే మీకు లభిస్తుంది.
AI Gateway tier ఏమి మారుస్తుంది
టోకెన్ వినియోగాన్ని నియంత్రించడానికి అవసరమైన చాలా పాలసీలు ఇప్పటికే స్టాండర్డ్ APIM టియర్లలో ఉన్నాయి—అవి XML రూల్స్గా వ్రాయబడి, కస్టమ్ డ్యాష్బోర్డ్లపై ప్రదర్శించబడతాయి. AI టియర్ ఆ సామర్థ్యాలన్నింటినీ ఒక ప్రత్యేక అనుభవంగా అందిస్తుంది:
- AI ట్రాఫిక్ కోసం Isolation of scaling.
- హ్యాండ్-క్రాఫ్టెడ్ XML పాలసీల అవసరం లేకుండా Simplified configuration.
దీని ప్రధాన మార్పు ఆపరేషనల్: టోకెన్ బడ్జెట్లను అమలు చేయడానికి మీరు ఇకపై సంక్లిష్టమైన కోడ్ను వ్రాయాల్సిన లేదా విడివిడిగా డ్యాష్బోర్డ్లను నిర్వహించాల్సిన అవసరం లేదు. ఈ టియర్ ఆ నియంత్రణల కోసం ఒక రెడీ-మేడ్ ఇంటర్ఫేస్ను అందిస్తుంది.
ఎప్పుడు మారాలి – ట్రాఫిక్ ఆధారిత గైడ్
- AI మీ ట్రాఫిక్లో స్వల్ప భాగం మాత్రమే అయితే. మీ ప్రస్తుత APIM టియర్ను ఉపయోగించడం కొనసాగించండి మరియు మీకు సూక్ష్మమైన నియంత్రణ కావాలంటే టోకెన్ పాలసీలను జోడించండి.
- AI మీ కాల్స్లో ప్రధాన భాగం అయితే. స్కేలింగ్ను వేరు చేయడానికి మరియు ఖర్చు నిర్వహణను (cost governance) పకడ్బందీగా ఉంచడానికి AI టియర్కు మారండి.
- మీరు ఇంజనీరింగ్ ఓవర్హెడ్ను నివారించాలనుకుంటే. ఈ టియర్లోని బిల్ట్-ఇన్ టూల్స్ కస్టమ్ పాలసీలను నిర్మించడానికి మరియు నిర్వహించడానికి పట్టే సమయాన్ని తగ్గిస్తాయి.
అతిపెద్ద ఖర్చు సబ్స్క్రిప్షన్ ధర కాదు; టోకెన్ ఎకనామిక్స్ను అర్థం చేసుకునేలా ఒక జనరిక్ గేట్వేలోని లోపాలను సరిదిద్దడానికి వెచ్చించే ఇంజనీరింగ్ గంటలే అసలైన ఖర్చు.
ప్రివ్యూ-ఫేజ్ ప్లేబుక్
Microsoft ఇంకా AI టియర్ను ప్రివ్యూ దశలోనే అందిస్తోంది. దీనిని ఒక టెస్ట్బెడ్గా పరిగణించండి, ప్రొడక్షన్ లాంచ్గా కాదు.
- అధిక వాల్యూమ్ ఉన్న అంతర్గత AI వర్క్లోడ్ను ఎంచుకోండి. అత్యధిక టోకెన్ ట్రాఫిక్ను ఉత్పత్తి చేసే సర్వీస్ను ఎంచుకోండి.
- ఆ వర్క్లోడ్ను AI టియర్ ద్వారా రూట్ చేయండి. ప్రతి వినియోగదారుని బట్టి టోకెన్ వినియోగాన్ని పట్టుకోవడానికి కొత్త కాన్ఫిగరేషన్ను ఉపయోగించండి.
- కొన్ని వారాల పాటు టోకెన్-ఖర్చు డేటాను సేకరించండి. మీ ప్రస్తుత మానిటరింగ్తో టోకెన్ల సంఖ్య మరియు దానికి సంబంధించిన ఖర్చులను పోల్చి చూడండి.
- బడ్జెట్ నిర్ణయించడానికి బేస్లైన్ను ఉపయోగించండి. ఈ టియర్ యొక్క ఖర్చు-నియంత్రణ ప్రయోజనాలు దాని ప్రివ్యూ-ఫేజ్ పరిమితుల కంటే ఎక్కువగా ఉన్నాయో లేదో నిర్ణయించుకోండి.
ఇది జనరల్ అవైలబిలిటీ (general availability) దశకు చేరుకునే వరకు, అత్యంత కీలకమైన (mission-critical) ప్రొడక్షన్ వర్క్లోడ్లను ప్రివ్యూ సర్వీస్కు తరలించవద్దు.
వ్యతిరేక వాదన: అందరికీ ప్రత్యేకమైన టియర్ అవసరం లేదు
మీ సంస్థ అప్పుడప్పుడు మాత్రమే LLMలకు కాల్స్ చేస్తుంటే, AI టియర్ యొక్క అదనపు ఖర్చు సమర్థనీయం కాకపోవచ్చు. మీరు ఇప్పటికే ఉన్న పాలసీ ఫ్రేమ్వర్క్తో టోకెన్-లెవల్ గవర్నెన్స్ను సాధించవచ్చు, అయితే దీనికి ఎక్కువ మాన్యువల్ ప్రయత్నం అవసరమవుతుంది. AI ట్రాఫిక్ మీ API సర్ఫేస్లో గణనీయమైన మరియు పెరుగుతున్న భాగమైనప్పుడు ఈ టియర్ ఎంతో ఉపయోగపడుతుంది.
ముగింపు
LLM ట్రాఫిక్ సాంప్రదాయ API కాల్స్ కంటే ప్రాథమికంగా భిన్నంగా ఉంటుందని AI Gateway tier గుర్తిస్తుంది. రిక్వెస్ట్ కౌంటింగ్ నుండి టోకెన్-ఆధారిత గవర్నెన్స్కు మారడం ద్వారా, ఇది డెవలపర్లకు కస్టమ్ కోడ్లో మునిగిపోకుండా AI ఖర్చును అదుపులో ఉంచుకోవడానికి ఒక ఆచరణాత్మక మార్గాన్ని అందిస్తుంది. ఇప్పటికే గణనీయమైన AI వినియోగాన్ని కలిగి ఉన్న లేదా పెరిగే అవకాశం ఉన్న టీమ్ల కోసం, ఇప్పుడు ప్రివ్యూను పరీక్షించడం వల్ల టోకెన్-ఖర్చు బేస్లైన్ను రూపొందించుకోవచ్చు.