API ధర అనేది కేవలం ఒక ఖర్చు అంశం మాత్రమే కాదు. AI ఫీచర్లను విడుదల చేసే బృందాలకు, ఇది ఒక నిర్మాణపరమైన వేరియబుల్. Novita మరియు StreamLake తమ మోడల్ ధరలను మార్చినప్పుడు, దాని ప్రభావం కేవలం ఇన్వాయిస్ సర్దుబాటుతో ముగిసిపోదు. ఇది యూనిట్ ఎకనామిక్స్ను తిరిగి లెక్కించడానికి, మోడల్ ఎంపికలను సమతుల్యం చేయడానికి మరియు ఆర్కిటెక్చరల్ ఊహలను సమీక్షించడానికి ఒక సంకేతం. మీరు ఈ రెండు ప్లాట్ఫారమ్లలో ఏదో ఒకటి ద్వారా ప్రొడక్షన్ ట్రాఫిక్ను నడుపుతుంటే, ఖచ్చితంగా ఏమి మారిందో మరియు దానికి ఎలా స్పందించాలో మీరు తెలుసుకోవాలి.
ప్రొడక్షన్ వర్క్లోడ్లకు ధరల అప్డేట్లు ఎందుకు ముఖ్యమైనవి
టోకెన్ ఆధారిత బిల్లింగ్ స్కేల్ అయ్యే వరకు చౌకగా అనిపిస్తుంది. ప్రోటోటైప్లో ప్రతి మిలియన్ టోకెన్లకు కొన్ని డాలర్ల రేటు అనేది పెద్దగా అనిపించకపోవచ్చు. లైవ్ యూజర్లకు అందించే మిలియన్ల కొద్దీ అవుట్పుట్ టోకెన్లకు దీనిని గుణిస్తే, అది మీ అతిపెద్ద వేరియబుల్ ఖర్చులలో ఒకటిగా మారుతుంది. చాలా LLM ప్రొవైడర్లు ఇన్పుట్ మరియు అవుట్పుట్ టోకెన్ల మధ్య ఛార్జీలను విభజిస్తారు, మరియు ఆ రెండు సంఖ్యల మధ్య నిష్పత్తి మీ అప్లికేషన్ సుదీర్ఘ సంభాషణలు లేదా భారీ బ్యాచ్ జాబ్స్ సమయంలో నష్టపోతుందో లేదో నిర్ణయిస్తుంది.
రోజుకు పది వేల క్వెరీలను హ్యాండిల్ చేసే కస్టమర్ సపోర్ట్ అసిస్టెంట్ను పరిగణనలోకి తీసుకోండి. ఒక సగటు మార్పిడిలో రెండు వేల ఇన్పుట్ టోకెన్లు మరియు ఐదు వందల అవుట్పుట్ టోకెన్లు వినియోగించబడితే, ప్రతి వెయ్యి టోకెన్లకు కేవలం ఒక సెంటులో స్వల్ప మార్పు వచ్చినా, మీ నెలవారీ బిల్లు వందల డాలర్ల మేర పెరుగుతుంది. మీరు retrieval-augmented generation context, system prompts మరియు multi-turn memoryలను జోడించినప్పుడు, ఇన్పుట్ భాగం తరచుగా ఊహించిన దానికంటే వేగంగా పెరుగుతుంది. ఈ ఆర్కిటెక్చర్ విషయంలో, అవుట్పుట్ టోకెన్ల కంటే ఇన్పుట్ టోకెన్ల ధర పెరగడం వల్ల ఎక్కువ నష్టం జరుగుతుంది. దీనికి విరుద్ధంగా, అవుట్పుట్ టోకెన్ల ధర తగ్గడం వల్ల చాట్-హెవీ అప్లికేషన్లకు భారీగా ప్రయోజనం చేకూరుతుంది.
Novita ఒక మోడల్ అగ్రిగేటర్గా పనిచేస్తుంది, ఇది డెవలపర్లకు ఒకే ఎండ్పాయింట్ ద్వారా వివిధ రకాల open-weight మరియు proprietary మోడల్లను అందిస్తుంది. ఆ సౌలభ్యం విలువైనదే, కానీ ధరల మార్పులు ఒకేసారి బహుళ మోడల్ ఫ్యామిలీలపై ప్రభావం చూపుతాయని కూడా దీని అర్థం. ByteDance యొక్క ఇన్ఫ్రాస్ట్రక్చర్ ఎకోసిస్టమ్లో భాగమైన StreamLake, తన విస్తృతమైన క్లౌడ్ మరియు మీడియా సేవలతో పాటు LLM యాక్సెస్ను కూడా అందిస్తుంది. అక్కడ ధరల సర్దుబాటు అనేది విడిగా జరగదు; ఇప్పటికే ఆ స్టాక్ను వాడుతున్న బృందాల యొక్క మొత్తం యాజమాన్య ఖర్చుపై (total cost of ownership) ఇది ప్రభావం చూపుతుంది.
Novita మరియు StreamLakeలో ఏమి మారింది
Novita లేదా StreamLake ధరలను స్థిరంగా పరిగణించవు. రెండూ తమ మోడల్ ధరలను అప్డేట్ చేశాయి, మరియు వివరాలు మోడల్ టైర్ మరియు టోకెన్ రకాన్ని బట్టి మారుతుంటాయి. కొత్త రేట్ కార్డ్లతో మీరు వాటిని సరిచూసే వరకు, మీ ప్రస్తుత ప్రాజెక్ట్ అంచనాలను పాతవిగా భావించాలి.
Novita విషయంలో, ఈ మార్పులు మీరు ఉపయోగిస్తున్న frontier మోడల్లకు వర్తిస్తాయా లేదా మీ బల్క్ ట్రాఫిక్ను హ్యాండిల్ చేసే చౌకైన fallback ఆప్షన్లకు వర్తిస్తాయా అనేది జాగ్రత్తగా గమనించండి. అగ్రిగేటర్లు తరచుగా తమ స్వంత inference ఖర్చులను ప్రతిబింబించేలా ధరలను సర్దుబాటు చేస్తారు, ఇవి మోడల్లు అప్డేట్ అయినప్పుడు లేదా హార్డ్వేర్ ఒప్పందాలు మారినప్పుడు మారుతుంటాయి. నిన్నటి వరకు మీకు తక్కువ ఖర్చుతో కూడిన పనిముట్టుగా ఉన్న మోడల్, ఇప్పుడు వేరే ధరల విభాగంలో ఉండవచ్చు.
మీరు StreamLake యొక్క క్లౌడ్ ఇన్ఫ్రాస్ట్రక్చర్తో పాటు LLM వినియోగాన్ని కలిపి వాడుతుంటే, దాని ధరల సర్దుబాటులు చాలా ముఖ్యమైనవి. మీ కంప్యూట్ మరియు స్టోరేజ్ ఖర్చులు స్థిరంగా ఉన్నప్పటికీ, మోడల్ ధరలలో మార్పులు మీ మొత్తం నెలవారీ ఖర్చును మార్చవచ్చు. పెద్ద ByteDance ఎకోసిస్టమ్లో StreamLakeని ఉపయోగిస్తున్న బృందాలు, కొత్త ధరలు తమ ప్రస్తుత ఒప్పందాలపై ప్రభావం చూపుతాయా లేదా కేవలం pay-as-you-go ప్లాన్లపై మాత్రమే ప్రభావం చూపుతాయా అనేది తనిఖీ చేయాలి.
మీ స్టాక్పై ప్రభావాన్ని ఎలా ఆడిట్ చేయాలి
మీ మొదటి అడుగు ఏమిటంటే, గత ముప్పై రోజుల వినియోగ లాగ్లను (usage logs) సేకరించి, వాటిపై కొత్త ధరలను వర్తింపజేయడం. కేవలం ప్రధాన శాతాన్ని మాత్రమే చూడకండి. దానిని ఈ క్రింది విధంగా విభజించండి:
- ఇన్పుట్ టోకెన్ రేట్లు వర్సెస్ అవుట్పుట్ టోకెన్ రేట్లు
- కాంటెక్స్ట్ క్యాషింగ్ ఛార్జీలు, ఏవైనా ఉంటే