ఓపెన్-సోర్స్ మోడల్ APIలు చాలా అరుదుగా స్థిరంగా ఉంటాయి. Novita మరియు StreamLake రెండూ కూడా Large Language Models కోసం వసూలు చేసే ధరలను మార్చాయి, మరియు మీరు ఈ రెండు ప్లాట్‌ఫారమ్‌ల ద్వారా ప్రొడక్షన్ ట్రాఫిక్‌ను నడుపుతుంటే, మీరు వెంటనే కొత్త ధరలను పరిశీలించాల్సి ఉంటుంది. AI ఫీచర్ లాభదాయకమా లేదా నిరంతరం ఖర్చులను కరిగించేదా అనేది టోకెన్ ఎకనామిక్స్ (Token economics) నిర్ణయిస్తుంది. ప్రతి మిలియన్ టోకెన్‌ల రేటు మారినప్పుడు, మీ నెలవారీ క్లౌడ్ ఖర్చు కూడా దానితో పాటు మారుతుంది.

LLM ధరలు నిరంతరం ఎందుకు మారుతుంటాయి

వార్షిక ఒప్పందాలతో కూడిన సాంప్రదాయ సాఫ్ట్‌వేర్ లైసెన్స్‌లలా కాకుండా, చాలా LLM ఇన్‌ఫరెన్స్ (inference) వినియోగం ఆధారంగా బిల్లు చేయబడుతుంది. మీరు ఎంత ఉపయోగిస్తే అంతకే చెల్లిస్తారు, ఇది సాధారణంగా టోకెన్లలో కొలవబడుతుంది. ఒక ప్రొవైడర్ యొక్క రేట్ కార్డ్ (rate card) అనేది నిరంతరం మారుతూ ఉండే పత్రం. అండర్లయింగ్ GPU క్లస్టర్‌లు చౌకైనప్పుడు, పాత మోడల్ వెయిట్‌ల స్థానంలో కొత్తవి వచ్చినప్పుడు, లేదా ఒక ప్లాట్‌ఫారమ్ మార్జిన్‌లపై పోటీ పడాలని నిర్ణయించుకున్నప్పుడు ఇది మారుతుంది.

మీరు ప్రోటోటైపింగ్ చేస్తున్నప్పుడు ఈ హెచ్చుతగ్గులను విస్మరించడం సులభం. రోజుకు కొన్ని వేల టోకెన్లను మాత్రమే ఉపయోగించే సైడ్ ప్రాజెక్ట్‌కు ఇరవై శాతం ధరల సర్దుబాటు పెద్దగా అనిపించదు. కానీ ప్రొడక్షన్ వర్క్‌లోడ్‌లు భిన్నంగా ఉంటాయి. కస్టమర్-ఫేసింగ్ చాట్‌బాట్, డాక్యుమెంట్ పార్సర్, లేదా కోడ్-జనరేషన్ పైప్‌లైన్ ప్రతి నెలా వందల మిలియన్ల టోకెన్లను సులభంగా వినియోగించవచ్చు. ఆ స్థాయిలో, ప్రతి టోకెన్ ధరలో వచ్చే చిన్న మార్పు కూడా మీ ఇన్‌ఫ్రాస్ట్రక్చర్ బడ్జెట్‌ను పూర్తిగా మార్చేస్తుంది.

Novita మరియు StreamLake రెండూ కూడా ఈ వేగంగా మారే ధరల వాతావరణంలో పనిచేస్తున్నాయి. వారు కేవలం ఒకే మోడల్‌ను రీసెల్లింగ్ చేయడం లేదు; వారు ఒకే చోట అనేక ఓపెన్-వెయిట్ మరియు ప్రొప్రైటరీ ఎండ్‌పాయింట్‌లను (endpoints) హోస్ట్ చేస్తున్నారు. వారు తమ టారిఫ్‌లను అప్‌డేట్ చేసినప్పుడు, దాని ప్రభావం మీరు వారి APIల ద్వారా ఇంటిగ్రేట్ చేసిన ప్రతి మోడల్‌పై పడుతుంది.

Novita మరియు StreamLake ఏమి చేస్తాయి

ఈ రెండు ప్లాట్‌ఫారమ్‌లు ఇన్‌ఫరెన్స్ ప్రొవైడర్లుగా లేదా API గేట్‌వేలుగా పనిచేస్తాయి. Llama, Mistral, Qwen లేదా ఇతర మోడళ్లను మీ స్వంత GPUలపై హోస్ట్ చేసుకునే బదులు, మీరు వాటి ఎండ్‌పాయింట్‌లకు రిక్వెస్ట్‌లను పంపుతారు. దీనివల్ల మీకు స్టాండర్డైజ్డ్ అథెంటికేషన్, లోడ్ బ్యాలెన్సింగ్ మరియు కొన్నిసార్లు వివిధ మోడల్ ఫ్యామిలీల మధ్య ఏకీకృత ఫార్మాటింగ్ లభిస్తాయి. అయితే, దీనికి ప్రతిఫలంగా, మీరు స్వచ్ఛమైన కంప్యూట్ ఖర్చుల కంటే ప్లాట్‌ఫారమ్ నిర్ణయించిన రేటును (marked-up rate) చెల్లించాల్సి ఉంటుంది.

వారి ధరల పేజీలలో ఇన్‌పుట్ టోకెన్‌ల (prompt) కోసం మరియు అవుట్‌పుట్ టోకెన్‌ల (completion) కోసం వేర్వేరు ధరలు ఉంటాయి. కొన్ని మోడళ్లు పెద్ద కాంటెక్స్ట్ విండోల కోసం లేదా ప్రత్యేక వెరైయంట్ల కోసం అదనపు ఛార్జీలను కూడా కలిగి ఉంటాయి. వారు అనేక మోడళ్లను సమకూర్చడం వల్ల, Novita లేదా StreamLake నుండి వచ్చే ఒకే ఒక ధరల అప్‌డేట్ ఒకేసారి బహుళ ఎండ్‌పాయింట్‌లపై ప్రభావం చూపవచ్చు. మీరు గత త్రైమాసికంలో ఎంచుకున్న చౌకైన సమ్మరైజేషన్ మోడల్, ఇప్పుడు అదే ప్లాట్‌ఫారమ్‌లోని పెద్ద మోడల్ కంటే ఖరీదైనదిగా మారిందని మీరు చూసి ఆశ్చర్యపోవచ్చు.

ఇటీవలి మార్పులు మీ బిల్లుపై ఎలా ప్రభావం చూపుతాయి

Novita మరియు StreamLake నుండి వచ్చిన తాజా అప్‌డేట్‌లు పలు మోడళ్ల రేట్ కార్డ్‌లను మారుస్తున్నాయి. మీరు మీ ప్రస్తుత ఇంటిగ్రేషన్‌లను ఆడిట్ చేయకపోతే, మీరు తెలియకుండానే కొత్త నిబంధనలకు అంగీకరిస్తున్నట్లే. ఈ ధరల మార్పులు మీరు Large Language Models కోసం చెల్లించే విధానాన్ని ప్రత్యక్షంగా, కొలవదగిన రీతిలో ప్రభావితం చేస్తాయి:

  • Per-token rates: ఇన్‌పుట్ మరియు అవుట్‌పుట్ ఖర్చులు వేరుగా ఉండవచ్చు. టెక్స్ట్‌ను చదవడం కంటే జనరేట్ చేయడానికి ఎక్కువ కంప్యూట్ అవసరం కాబట్టి, అవుట్‌పుట్ టోకెన్‌లు సాధారణంగా ఎక్కువ ఖరీదైనవి. ఒకవేళ ప్రొవైడర్ అవుట్‌పుట్ ధరలను అధికంగా పెంచితే, ఎక్కువ సమాచారాన్ని ఇచ్చే (verbose) అప్లికేషన్ల ఖర్చులు భారీగా పెరుగుతాయి.
  • Model-specific adjustments: ప్రతి ఎండ్‌పాయింట్ ఒకేలా మారదు. ఒక పాపులర్ మోడల్ ధర తగ్గుతుంటే, మరొక నిచ్ (niche) వెరైయంట్ ధర పెరగవచ్చు. చార్ట్‌ను తనిఖీ చేయకుండా, మీరు మీ బడ్జెట్‌కు సరిపోని తప్పు ఎండ్‌పాయింట్ ద్వారా ట్రాఫిక్‌ను నడుపుతూ ఉండవచ్చు.
  • Tiered or volume breaks: కొంతమంది ప్రొవైడర్లు బల్క్ డిస్కౌంట్లు ఇచ్చే పరిమితులను (thresholds) మారుస్తారు. మీరు ఇటీవల అధిక వాల్యూమ్ బ్యాండ్‌లోకి ప్రవేశించి ఉంటే, కొత్త ధరలు మీకు సహాయపడవచ్చు లేదా మీరు ఆశించిన డిస్కౌంట్‌ను తగ్గించవచ్చు.

మీరు ఎంత ఉపయోగిస్తే అంతకే చెల్లిస్తారు కాబట్టి, ఖర్చును నియంత్రించాలంటే మీ వర్క్‌లోడ్‌ను ప్రస్తుత ధరల నిర్మాణానికి అనుగుణంగా మార్చుకోవడమే ఏకైక మార్గం. పాత రేట్ కార్డ్ ఇప్పుడు కేవలం చారిత్రక డేటా మాత్రమే.

డెవలపర్ల కోసం ఒక ప్రాక్టికల్ ఆడిట్

మీరు ఇటీవల మీ ఇన్‌ఫరెన్స్ ఖర్చులను సమీక్షించకపోతే, ఇప్పుడు సరైన సమయం. నష్టాన్ని అంచనా వేయడానికి మరియు ఖర్చులను తగ్గించుకోవడానికి ఇక్కడ ఒక సులభమైన మార్గం ఉంది.

1. మీ వినియోగ లాగ్‌లను (usage logs) సేకరించండి. గత ముప్పై రోజులను చూడండి. ఇన్‌పుట్ టోకెన్లను అవుట్‌పుట్ టోకెన్ల నుండి వేరు చేయండి మరియు వాటిని మోడల్ వారీగా విభజించండి. Novita మరియు StreamLakeలోని చాలా డాష్‌బోర్డ్‌లు దీనిని చూపిస్తాయి, లేదా మీరు మీ స్వంత రిక్వెస్ట్ లాగ్‌ల నుండి కూడా దీనిని విశ్లేషించవచ్చు.

2. కొత్త ధరలను అన్వయించండి. మీ టోకెన్ల సంఖ్యను తీసుకుని, వాటిని అప్‌డేట్ చేసిన రేట్లతో గుణించండి. పాత ధరల ప్రకారం గత నెలలో మీరు ఎంత చెల్లించారో ఆ గణాంకంతో దీనిని పోల్చండి

3. మోడల్ మార్పులను (model swaps) అంచనా వేయండి. మీరు ఉపయోగిస్తున్న మోడల్ ధర గణనీయంగా పెరిగితే, అదే ప్లాట్‌ఫామ్‌లోని తక్కువ ధర కలిగిన ప్రత్యామ్నాయం మీ నాణ్యతా ప్రమాణాలకు సరిపోతుందో లేదో తనిఖీ చేయండి. చిన్న పారామీటర్ మోడల్ లేదా క్వాంటైజ్డ్ (quantized) వెర్షన్‌ను A/B టెస్ట్ చేయండి. కొన్నిసార్లు సాధారణ పనుల కోసం ఖచ్చితత్వంలో వచ్చే తగ్గుదల చాలా స్వల్పంగా ఉంటుంది.

4. మీ ప్రాంప్ట్‌లను (prompts) కుదించండి. సిస్టమ్ ప్రాంప్ట్‌లు ఫ్యూ-షాట్ (few-shot) ఉదాహరణలు లేదా పొడవైన పత్రాలతో నిండిపోయినప్పుడు ఇన్‌పుట్ ఖర్చులు పెరుగుతాయి. డేటాను చేర్చే ముందు సందర్భాన్ని (context) క్లుప్తీకరించడానికి, max_token పరిమితులను తగ్గించడానికి లేదా వర్కింగ్ విండోను తగ్గించడానికి రిట్రీవల్ (retrieval) ఉపయోగించడానికి ప్రయత్నించండి. ఇన్‌పుట్ వైపు మీరు తగ్గించే ప్రతి టోకెన్, కొత్త రేటు ప్రకారం ఆదా అయ్యే డబ్బు.

5. బడ్జెట్ అలర్ట్‌లను సెట్ చేయండి. రోజువారీ వినియోగం ఒక నిర్దిష్ట స్థాయిని దాటినప్పుడు, ఖర్చు పరిమితులను (spending caps) లేదా వెబ్‌హుక్ (webhook) అలర్ట్‌లను కాన్ఫిగర్ చేయడానికి చాలా ప్లాట్‌ఫామ్‌లు అనుమతిస్తాయి. మీరు వీటిని ఆన్ చేయకపోతే, బిల్లింగ్ సైకిల్ మధ్యలో ధరల మార్పు మిమ్మల్ని ఆశ్చర్యపరచవచ్చు.

రేట్ కార్డ్‌లలోని సూక్ష్మ వివరాలను చదవండి

మీరు అప్‌డేట్ చేయబడిన ధరలను సమీక్షించేటప్పుడు, కేవలం ప్రతి మిలియన్ టోకెన్‌కు అయ్యే ధరనే కాకుండా ఇతర అంశాలను కూడా చూడండి. ప్రొవైడర్లు తరచుగా డాక్యుమెంటేషన్‌లో సూక్ష్మమైన వివరాలను దాచిపెడుతుంటారు.

కాంటెక్స్ట్ క్యాషింగ్ (context caching) అందుబాటులో ఉందో లేదో తనిఖీ చేయండి. కొన్ని ప్లాట్‌ఫామ్‌లు పొడవైన పత్రాన్ని క్యాష్ చేయడానికి ఒక స్థిర రుసుమును వసూలు చేస్తాయి, ఆపై తదుపరి కాల్‌లపై ప్రతి-అభ్యర్థన (per-request) ఖర్చును తగ్గిస్తాయి. మీ అప్లికేషన్ ప్రతిసారీ ఒకే బ్యాక్‌గ్రౌండ్ కాంటెక్స్ట్‌ను మళ్ళీ చదువుతుంటే, క్యాషింగ్ వల్ల ధరల పెరుగుదల ప్రభావాన్ని తగ్గించవచ్చు.

పరోక్షంగా ఖర్చు పెంచే రేట్ లిమిటింగ్ (rate limiting) పట్ల జాగ్రత్తగా ఉండండి. కొత్త ధరలు మిమ్మల్ని అధిక త్రూపుట్ (throughput) స్థాయికి నెట్టేస్తే, మీరు కెపాసిటీని రిజర్వ్ చేయాల్సి రావచ్చు లేదా కనీస నిబద్ధతలను (minimum commitments) చెల్లించాల్సి రావచ్చు. అలాగే, API అనేది జనరేట్ చేయబడిన టోకెన్ల ద్వారా బిల్లు చేస్తోందా లేదా అభ్యర్థించబడిన టోకెన్ల ద్వారా బిల్లు చేస్తోందా అని కూడా నిర్ధారించుకోండి. రెస్పాన్స్ మధ్యలో ఆగిపోయినప్పటికీ, మాక్స్ లెంగ్త్ లిమిట్‌ను చేరుకున్న రిక్వెస్ట్‌కు మీరు ఖర్చు చేయాల్సి ఉంటుంది.

మీరు Novita లేదా StreamLake ద్వారా ఫైన్-ట్యూన్డ్ (fine-tuned) లేదా ప్రైవేట్ ఎండ్‌పాయింట్‌లను ఉపయోగిస్తుంటే, వాటి ఇన్ఫరెన్స్ (inference) ఫీజులతో పాటు హోస్టింగ్ ఫీజులు కూడా మారాయో లేదో తనిఖీ చేయండి. మీరు అప్పుడప్పుడు మాత్రమే వర్క్‌లోడ్‌లను రన్ చేస్తుంటే, స్టోరేజ్ మరియు కోల్డ్-స్టార్ట్ (cold-start) ఖర్చులు టోకెన్ ధరల కంటే ఎక్కువగా ఉండవచ్చు.

ఒక స్థితిస్థాపకమైన AI బడ్జెట్‌ను నిర్మించడం

ఏ ఒక్క ప్రొవైడర్ కూడా మీ మొత్తం ఇన్ఫరెన్స్ బడ్జెట్‌ను నియంత్రించకూడదు. ధరల మార్పులు అత్యవసర పరిస్థితులుగా కాకుండా, సాధారణ నిర్వహణ (routine maintenance) లాగా ఉండేలా వ్యవస్థలను నిర్మించడమే లక్ష్యం. మీ లాటెన్సీ (latency) మరియు ఖచ్చితత్వ అవసరాలకు సరిపోయే ప్రత్యామ్నాయ మోడళ్ల జాబితాను సిద్ధంగా ఉంచుకోండి. మీ కోడ్‌బేస్‌లో తేలికపాటి అబ్‌స్ట్రాక్షన్ లేయర్‌లను (abstraction layers) నిర్వహించండి, తద్వారా మీరు బిజినెస్ లాజిక్‌ను తిరిగి రాయకుండానే ఎండ్‌పాయింట్‌లను మార్చుకోగలరు.

ఖర్చు మాత్రమే ఏకైక వేరియబుల్ కాదు. లాటెన్సీ, లభ్యత (availability) మరియు కాంటెక్స్ట్-విండో పరిమాణం కూడా ముఖ్యమే. కానీ ధర అనేది హెచ్చరిక లేకుండా మారే వేరియబుల్. Novita మరియు StreamLakeలను స్థిరమైన యుటిలిటీలుగా కాకుండా డైనమిక్ మార్కెట్‌ప్లేస్‌లుగా పరిగణించడం ద్వారా, మీరు ఎప్పుడూ ముందుంటారు.

అసలైన సారాంశం

మీరు కొలవలేని దానిని ఆప్టిమైజ్ చేయలేరు. Novita మరియు StreamLake కొత్త రేట్ కార్డ్‌లను విడుదల చేశాయి. వివరాలను ఇక్కడ సమీక్షించండి, అప్‌డేట్ చేయబడిన ఖర్చుల ప్రకారం మీ లెక్కలను మళ్ళీ సరిచూసుకోండి మరియు మీ ప్రస్తుత స్టాక్ (stack) ఆర్థికంగా లాభదాయకమో కాదో నిర్ణయించుకోండి. మీరు ఆడిటింగ్ కోసం కేటాయించే కొన్ని గంటలు, భవిష్యత్తులో ఫైనాన్స్ విభాగంతో జరగబోయే పెద్ద చర్చను నివారిస్తాయి.

వివిధ ప్రొవైడర్ల ఇన్ఫరెన్స్ ఖర్చులను ట్రాక్ చేస్తున్న ఇతర బిల్డర్లతో మీరు చర్చించాలనుకుంటే, వ్యూహాలను పోల్చడానికి GyaanSetu learning community ఒక మంచి ప్రదేశం. ధరల మార్పులు మిమ్మల్ని అప్రమత్తం చేయనప్పుడు మాత్రమే ఇబ్బందికరంగా ఉంటాయి.