Novita ఇటీవల తన LLM ధరలను (pricing) అప్‌డేట్ చేసింది. ఈ ప్లాట్‌ఫారమ్ ద్వారా ప్రొడక్షన్ ఇన్‌ఫరెన్స్ (production inference) నడుపుతున్న టీమ్‌ల కోసం, ఈ వాక్యం మీ ప్రస్తుత ఖర్చుల తక్షణ ఆడిట్‌ను ప్రేరేపించాలి. API రేట్ మార్పులు అరుదుగా అనుకూల సమయంలో వస్తాయి, మరియు అవి బహుళ మోడల్ స్థాయిలలో (model tiers) ప్రభావం చూపినప్పుడు, మీ నెలవారీ ఖర్చుపై (monthly burn) ప్రభావం ఊహించిన దానికంటే ఎక్కువగా ఉండవచ్చు.

ఇన్‌ఫరెన్స్ ధరలు (Inference Pricing) ఎందుకు మీ దృష్టిని ఆకర్షించాలి

చాలా ఆధునిక AI అప్లికేషన్లు స్వయంగా నిర్వహించే GPU క్లస్టర్‌లపై నిర్మించబడవు. డెవలపర్లు Novita వంటి ఇన్‌ఫరెన్స్ ప్రొవైడర్‌లకు రిక్వెస్ట్‌లను పంపిస్తారు, ఎందుకంటే దానికి బదులుగా హార్డ్‌వేర్‌ను పొందడం, vLLM లేదా TGI డిప్లాయ్‌మెంట్లను నిర్వహించడం మరియు ట్రాఫిక్ పెరుగుతున్నప్పుడు కోల్డ్ స్టార్ట్‌లను (cold starts) హ్యాండిల్ చేయడం వంటి పనులు ఉంటాయి. ఆ సౌలభ్యం విలువైనది. కానీ అది వినియోగాన్ని బట్టి లెక్కించబడుతుంది. జనరేట్ చేయబడిన ప్రతి టోకెన్, యూజర్ సెషన్లు, బ్యాక్‌గ్రౌండ్ జాబ్స్ మరియు ఇంటర్నల్ టూల్స్ ద్వారా పెరిగే బిల్లుకు తోడవుతుంది.

ఒక ప్రొవైడర్ తన ధరలను సర్దుబాటు చేసినప్పుడు, దాని ప్రభావం మీ మొత్తం స్టాక్ (stack) పై పడుతుంది. రోజుకు పది వేల కస్టమర్ సంభాషణలను హ్యాండిల్ చేసే చాట్‌బాట్, వారానికి నలభై మిలియన్ల ఇన్‌పుట్ టోకెన్లను మరియు పన్నెండు మిలియన్ల అవుట్‌పుట్ టోకెన్లను వినియోగించవచ్చు. ప్రతి మిలియన్ రేటును కేవలం కొన్ని డాలర్ల తేడాతో మార్చినా, నెలవారీ వ్యయంలో మార్పు గణనీయంగా మారుతుంది. తక్కువ లాభాలతో నడుస్తున్న ప్రొడక్ట్స్ లేదా టీమ్‌ల కోసం, ఆ తేడా లాభదాయకతను దెబ్బతీస్తుంది. బ్రౌజర్ ఎక్స్‌టెన్షన్‌గా పనిచేసే కోడింగ్ అసిస్టెంట్, రాత్రిపూట ప్రాసెస్ అయ్యే బ్యాచ్ సమ్మరైజేషన్ పైప్‌లైన్, లేదా ప్రతి పేజీ లోడ్‌లో మోడల్‌ను క్వెరీ చేసే ఇంటర్నల్ లుకప్ టూల్ - ఇవన్నీ ఒకే రకమైన రిస్క్‌ను కలిగి ఉంటాయి. వాటి యూనిట్ ఎకనామిక్స్ (unit economics) తదుపరి టోకెన్ యొక్క ఖచ్చితమైన ధరపై ఆధారపడి ఉంటాయి.

Novitaలో ఏమి మారింది

Novita తన క్యాటలాగ్‌లోని వివిధ మోడల్‌లపై ప్రభావం చూపే కొత్త ధరలను ప్రకటించింది. కంపెనీ అన్ని మోడళ్లపై ఒకే రకమైన శాతం పెరుగుదల లేదా తగ్గింపును అమలు చేయలేదు. బదులుగా, సర్దుబాటులు మోడల్‌ను బట్టి మారుతుంటాయి, అంటే మీరు ఏ ఎండ్‌పాయింట్‌లను (endpoints) ఉపయోగిస్తున్నారనే దానిపై మీ బిల్లు ఆధారపడి ఉంటుంది.

మీ అప్లికేషన్ మొత్తం ట్రాఫిక్‌ను ఒకే లార్జ్ లాంగ్వేజ్ మోడల్ (LLM) ద్వారా పంపిస్తే, మీ లెక్కలు సులభం. పాత రేటును కొత్త రేటుతో పోల్చి, ఎంత నష్టం లేదా ఆదా జరుగుతుందో అంచనా వేయవచ్చు. కానీ చాలా ప్రొడక్షన్ సెటప్‌లు అంత సులభంగా ఉండవు. టీమ్‌లు తరచుగా సింపుల్ క్వెరీలను లైట్ మోడల్‌లకు పంపేలా మరియు కాంప్లెక్స్ రీజనింగ్ టాస్క్‌ల కోసం హెవీ మోడల్‌లను రిజర్వ్ చేసేలా రూటింగ్ లాజిక్‌ను నిర్వహిస్తాయి. మరికొందరు లేటెన్సీ (latency) మరియు క్వాలిటీని పోల్చడానికి వివిధ మోడళ్లపై A/B టెస్ట్‌లను నిర్వహిస్తారు. అటువంటి సందర్భాలలో, కేవలం ఒకటి లేదా రెండు మోడళ్ల ధర మారినా, మీ మొత్తం ఖర్చు నిర్మాణం (cost structure) మారిపోవచ్చు.

ప్రతి టోకెన్ మరియు ప్రతి రిక్వెస్ట్ యొక్క నిర్దిష్ట గణాంకాలు Dev.toలో Narevbot ప్రచురించిన వివరణాత్మక బ్రేక్‌డౌన్‌లో ఉన్నాయి. మీరు ఖచ్చితమైన రేట్ కార్డ్‌ను ఇక్కడ చూడవచ్చు: https://dev.to/narevbot/changes-to-llm-pricing-novita-3plc

మీ జ్ఞాపకశక్తిపై లేదా డాక్యుమెంటేషన్‌లో ఎక్కడో ఉన్న పాత స్క్రీన్‌షాట్‌పై ఆధారపడకండి. మీ తదుపరి త్రైమాసిక ప్రణాళికను (next quarter model) రూపొందించే ముందు, నేరుగా ఆ మూలం నుండి ప్రస్తుత గణాంకాలను తీసుకోండి.

మీ రిస్క్‌ను (Exposure) ఎలా ఆడిట్ చేయాలి

ఊహలతో కాకుండా డేటాతో ప్రారంభించండి. మీ Novita డ్యాష్‌బోర్డ్‌లోకి లాగిన్ అయ్యి, గత రెండు నుండి మూడు నెలల మీ వినియోగ చరిత్రను (usage history) ఎగుమతి (export) చేయండి. ఆ డేటాను మోడల్ మరియు ఆపరేషన్ రకాన్ని బట్టి విభజించండి. ఏ ఎండ్‌పాయింట్లు మీ బడ్జెట్‌లో ఎక్కువ భాగాన్ని వినియోగిస్తున్నాయి మరియు ఏవి ప్రతి రిక్వెస్ట్‌కు అత్యధిక టోకెన్లను ఉత్పత్తి చేస్తున్నాయో మీరు తెలుసుకోవాలి.

ఈ క్రింది నమూనాలను (patterns) గమనించండి:

  • కన్సంట్రేషన్ రిస్క్ (Concentration risk). మీ ఖర్చులో డెబ్బై శాతం ఒకే మోడల్ ద్వారా జరుగుతూ, ఆ మోడల్ ధర పెరిగితే, మీరు వెంటనే స్పందించాల్సి ఉంటుంది. మీ ఖర్చు ఎనిమిది మోడళ్లలో విస్తరించి ఉండి, వాటిలో మూడింటి ధరలు మారితే, లెక్కించడానికి సమయం పడుతుంది కానీ రిస్క్ మాత్రం ఉంటుంది.
  • టోకెన్ బ్లోట్ (Token bloat). మీ ప్రాంప్ట్‌లు అనవసరమైన కాంటెక్స్ట్‌తో పెరిగిపోతున్నాయా లేదా అని తనిఖీ చేయండి. పొడవైన సిస్టమ్ ప్రాంప్ట్‌లు, పదేపదే వాడే few-shot ఉదాహరణలు మరియు వివరణాత్మక XML ఫార్మాటింగ్ అన్నీ ఇన్‌పుట్ ఖర్చులను పెంచుతాయి. ధరల అప్‌డేట్ అనేది అనవసర ఖర్చులను తగ్గించుకోవడానికి ఒక మంచి అవకాశం.
  • అవుట్‌పుట్ అసమర్థత (Output inefficiency). మీ అప్లికేషన్ పెద్ద అవుట్‌పుట్‌లను కోరుతున్నా, కేవలం మొదటి కొన్ని వాక్యాలను మాత్రమే ఉపయోగిస్తుంటే, మీరు వదిలివేసే టోకెన్ల కోసం కూడా డబ్బు చెల్లిస్తున్నారు. మీ max_token పరిమితులను మరియు stop sequencesలను సర్దుబాటు చేయండి.
  • నిష్క్రియ బ్యాక్‌గ్రౌండ్ జాబ్స్ (Idle background jobs). రిపోర్టులను జనరేట్ చేసే లేదా డాక్యుమెంట్లను ఎంబెడ్ చేసే షెడ్యూల్డ్ టాస్క్ అవసరానికి మించి తరచుగా నడుస్తూ ఉండవచ్చు. cron షెడ్యూల్ మరియు బ్యాచ్ సైజును సరిచూసుకోండి.