మీరు లార్జ్ లాంగ్వేజ్ మోడల్స్ (large language models) ఆధారంగా ఒక ఉత్పత్తిని అందిస్తుంటే, మీ లాభాల మార్జిన్ (margin) మీ ప్రొవైడర్ రేట్ కార్డ్పై మాత్రమే ఆధారపడి ఉంటుంది. Novita మరియు StreamLake రెండూ ఇటీవల తమ మోడల్ ధరలను అప్డేట్ చేశాయి, దీని అర్థం మీరు గమనించినా లేకపోయినా మీ యూనిట్ ఎకనామిక్స్ (unit economics) మారిపోయాయని. ఇవి సాధారణ మెయింటెనెన్స్ విండోలు కావు. ఇన్ఫరెన్స్ ప్రొవైడర్లు (inference providers) తమ పర్-టోకెన్ (per-token) ధరలను మార్చినప్పుడు, ఒక సపోర్ట్ టికెట్ను వర్గీకరించడం, డాక్యుమెంట్ను సారాంశం చేయడం లేదా కోడ్ సలహాను రూపొందించడం వంటి వాటి ఖర్చు రాత్రికి రాత్రే మారిపోతుంది. API ధరలను స్థిరమైనవిగా భావించే డెవలపర్లు, సాధారణంగా తమ నెలవారీ బిల్లు వచ్చినప్పుడే ఈ సమస్యను గుర్తిస్తారు.
నిశ్శబ్దంగా జరిగే ధరల మార్పు బడ్జెట్ను ఎలా దెబ్బతీస్తుంది
చాలా ఇంజనీరింగ్ టీమ్లు ఒక ఇన్ఫరెన్స్ ప్రొవైడర్ను ఎంచుకుంటాయి, కొన్ని లేటెన్సీ బెంచ్మార్క్లను (latency benchmarks) రన్ చేస్తాయి మరియు ముందుకు సాగిపోతాయి. ప్రాంప్ట్ టెంప్లేట్లు వెర్షన్ కంట్రోల్కు కమిట్ చేయబడతాయి, క్లయింట్ కోడ్ ప్రొడక్షన్లోకి వెళ్తుంది మరియు ఫైనాన్స్ టీమ్కు ఒక అంచనా నెలవారీ అంచనా అందుతుంది. ఆ వర్క్ఫ్లో (workflow) పని చేసే వరకు బాగుంటుంది, కానీ ఎప్పుడైనా సమస్య రావచ్చు. టోకెన్లు వినియోగించబడే వనరులు (consumable resource). యూజర్ అడాప్షన్ (user adoption), కాంటెక్స్ట్ లెంగ్త్ (context length) మరియు రిట్రై బిహేవియర్ (retry behavior) బట్టి మీ బిల్లు పెరుగుతుంది. స్ప్రెడ్షీట్లో చిన్నదిగా కనిపించే ధరల పెరుగుదల, ఎక్కువ వాల్యూమ్ ఉన్న ఫీచర్పై మీ లాభాల మార్జిన్ను పూర్తిగా తుడిచిపెట్టేయగలదు.
దీని ప్రభావం పూర్తిగా మీ వినియోగ విధానం (usage shape) పై ఆధారపడి ఉంటుంది. చిన్న క్లాసిఫికేషన్ ప్రాంప్ట్లను పంపే టీమ్, ఎటువంటి మార్పులు చేయకుండానే ధరల సర్దుబాటును తట్టుకోగలదు. కానీ పొడవైన కాంటెక్స్ట్ విండోలను ప్రాసెస్ చేసే లేదా వేల పేజీల ద్వారా బ్యాచ్ జాబ్స్ (batch jobs) రన్ చేసే టీమ్, తమ బర్న్ రేట్ (burn rate) వేగంగా పెరగడాన్ని చూడవచ్చు. మీ సగటు కాల్ రెండు వందల టోకెన్లైనా లేదా ఇరవై వేల టోకెన్లైనా, ఒకే శాతపు మార్పు వేర్వేరు ప్రభావాలను చూపుతుంది. అందుకే Novita మరియు StreamLake నుండి వచ్చిన అప్డేట్లను క్షుణ్ణంగా పరిశీలించాల్సిన అవసరం ఉంది. మీ యూజర్ సగటు ఖర్చు మీ అంచనాల కంటే పెరిగిందో లేదో మరియు ట్రాఫిక్ను మార్చాల్సిన సమయం వచ్చిందో లేదో మీరు తెలుసుకోవాలి.
Novita ధరల అప్డేట్
Novita ఇటీవల తన మోడల్ ధరలను సర్దుబాటు చేసింది. ఈ ప్లాట్ఫారమ్ వివిధ రకాల లాంగ్వేజ్ మోడల్స్ను అందిస్తుంది, మరియు అక్కడ జరిగే ఏ మార్పు అయినా దానిని ప్రాథమిక ఇన్ఫరెన్స్ లేయర్గా ఉపయోగించే టీమ్ల నిర్వహణ ఖర్చులపై (operating costs) నేరుగా ప్రభావం చూపుతుంది. Novita బహుళ మోడల్స్ను హోస్ట్ చేస్తుంది కాబట్టి, ఈ అప్డేట్ మొత్తం క్యాటలాగ్లో ఒకేలా ఉండకపోవచ్చు. ఒక మోడల్ ఫ్యామిలీ ధరలు మారకుండా ఉండవచ్చు, అదే సమయంలో మరొకటి మారవచ్చు. సాధారణ ప్రకటన కంటే ఈ సూక్ష్మమైన మార్పులే ఎక్కువ ప్రాధాన్యత కలిగి ఉంటాయి.
మీరు మొత్తం ట్రాఫిక్ను ఒకే మోడల్ ID ద్వారా పంపిస్తే, మీ కొత్త అంచనా ఖర్చును లెక్కించడం సులభం. మీరు Novita క్యాటలాగ్ను డైనమిక్గా ఉపయోగిస్తూ, సంక్లిష్టమైన ప్రాంప్ట్లను పెద్ద మోడల్స్కు మరియు సాధారణ ప్రాంప్ట్లను చిన్న మోడల్స్కు పంపిస్తుంటే, మీ సగటు ఖర్చు (blended average cost) ఏ ఒక్క అలర్ట్ వివరించలేని విధంగా మారి ఉండవచ్చు. దీనిని తెలుసుకోవడానికి ఏకైక మార్గం మీ యూసేజ్ లాగ్స్ను (usage logs) సేకరించి, వాటిని మోడల్ వారీగా గ్రూప్ చేసి, కొత్త రేట్ కార్డ్తో అసలు టోకెన్ కౌంట్ను గుణించడం. మిలియన్ టోకెన్ల ధర గతంలో ఎంత ఉండేదనే దానిపై మీ జ్ఞాపకశక్తిపై ఆధారపడకండి. దానిని రాసి పెట్టుకోండి. ఒక హిస్టారికల్ రికార్డ్ను ఉంచుకోండి. తదుపరి మార్పు మిమ్మల్ని ఆశ్చర్యపరిచేలా ఉండకుండా, దీనిని మీ త్రైమాసిక సమీక్షా చక్రంలో (quarterly review cycle) భాగంగా చేసుకోండి.
StreamLake ధరల అప్డేట్
StreamLake కూడా తన మోడల్స్పై ధరల అప్డేట్ను విడుదల చేసింది. దాని స్టాక్తో అనుసంధానించబడిన టీమ్లకు, టోకెన్ ధరలలో జరిగే ఏ సర్దుబాటు అయినా కంటెంట్ అనాలిసిస్, ట్రాన్స్క్రిప్షన్ బ్యాక్-ఎండ్స్, జనరేటివ్ ఫీచర్లు లేదా ప్లాట్ఫారమ్ ద్వారా నడిచే ఇతర లాంగ్వేజ్ వర్క్లోడ్ల గణనను మారుస్తుంది. సర్దుబాటు యొక్క పరిమాణం కంటే దాని వల్ల కలిగే సంయుక్త ప్రభావం (compounding effect) ముఖ్యం. మీరు రోజుకు మిలియన్ల కొద్దీ టోకెన్లను వివిధ ఎన్విరాన్మెంట్లలో ప్రాసెస్ చేస్తున్నప్పుడు, చిన్న పర్-టోకెన్ పెరుగుదల కూడా భారీగా మారుతుంది.
అసలు ప్రశ్న కొత్త ధర ఎంత అన్నది కాదు, ఆ కొత్త ధర మీ ఫీచర్ యొక్క గ్రాస్ మార్జిన్పై (gross margin) ఎలాంటి ప్రభావం చూపుతుంది అన్నది. StreamLake ఒక కస్టమర్-ఫేసింగ్ సారాంశ సాధనాన్ని (summarization tool) లేదా అంతర్గత మోడరేషన్ లేయర్ను నడుపుతుంటే, మీ కాస్ట్ ఆఫ్ గుడ్స్ సోల్డ్ (cost of goods sold) మారిపోయింది. మీ అబ్జర్వబిలిటీ టూలింగ్లో (observability tooling) ఆ ఖర్చును స్పష్టంగా వేరు చేయాలి. ఇన్వాయిస్ వచ్చినప్పుడు, మీరు దానిని ఖచ్చితంగా విభజించడానికి ఆ API కాల్స్ను ప్రొవైడర్ మరియు ఫీచర్ వారీగా ట్యాగ్ చేయండి. ఒకవేళ ఏదైనా యూజ్ కేస్ లాభదాయకంగా లేకపోతే, దానిని తగ్గించాలా (throttle), చిన్న మోడల్కు డౌన్గ్రేడ్ చేయాలా లేదా వ్యూహాత్మక ఖర్చుగా (strategic cost) స్వీకరించాలా అని నిర్ణయించడానికి మీకు డేటా అందుబాటులో ఉండాలి.
మీ ఇన్ఫరెన్స్ ఖర్చును ఎలా ఆడిట్ చేయాలి
అంగీకరించడం