Novita એ તાજેતરમાં તેના LLM પ્રાઇસિંગમાં ફેરફાર કર્યો છે. જે ટીમો આ પ્લેટફોર્મ દ્વારા પ્રોડક્શન ઇન્ફરન્સ ચલાવી રહી છે, તેમના માટે આ વાક્ય તમારા વર્તમાન ખર્ચનું તાત્કાલિક ઓડિટ કરવા માટેનું સંકેત હોવું જોઈએ. API રેટમાં ફેરફાર ભાગ્યે જ અનુકૂળ સમયે આવે છે, અને જ્યારે તે મલ્ટીપલ મોડેલ ટિયર્સ પર અસર કરે છે, ત્યારે તમારા માસિક ખર્ચ પર તેની અસર અપેક્ષા કરતા વધુ તીવ્ર હોઈ શકે છે.
ઇન્ફરન્સ પ્રાઇસિંગ શા માટે તમારું ધ્યાન ખેંચે છે
મોટાભાગની આધુનિક AI એપ્લિકેશન્સ સેલ્ફ-મેનેજ્ડ GPU ક્લસ્ટર્સ પર બનાવવામાં આવતી નથી. ડેવલપર્સ Novita જેવા ઇન્ફરન્સ પ્રોવાઇડર્સને વિનંતીઓ મોકલે છે કારણ કે તેના બદલે હાર્ડવેર સુરક્ષિત કરવું, vLLM અથવા TGI ડિપ્લોયમેન્ટ્સનું સંચાલન કરવું અને ટ્રાફિક વધારા દરમિયાન કોલ્ડ સ્ટાર્ટ્સ હેન્ડલ કરવા જેવા કાર્યો કરવા પડે છે. આ સુવિધા મૂલ્યવાન છે, પરંતુ તે વપરાશ મુજબ ચૂકવવાની હોય છે. દરેક જનરેટ થયેલ ટોકન તમારા બિલમાં ઉમેરાય છે, જે યુઝર સેશન્સ, બેકગ્રાઉન્ડ જોબ્સ અને ઇન્ટરનલ ટૂલ્સ દ્વારા વધતું જાય છે.
જ્યારે કોઈ પ્રોવાઇડર તેના પ્રાઇસિંગમાં ફેરફાર કરે છે, ત્યારે તેની અસર તમારા આખા સ્ટેક પર પડે છે. દિવસના દસ હજાર ગ્રાહક સંવાદો હેન્ડલ કરતું ચેટબોટ એક અઠવાડિયામાં ચાળીસ મિલિયન ઇનપુટ ટોકન્સ અને બાર મિલિયન આઉટપુટ ટોકન્સનો વપરાશ કરી શકે છે. જો પ્રતિ-મિલિયન રેટમાં થોડા ડોલરનો પણ ફેરફાર થાય, તો માસિક તફાવત ઝડપથી નોંધપાત્ર બની જાય છે. બુટસ્ટ્રેપ્ડ પ્રોડક્ટ્સ અથવા ઓછા નફા સાથે કામ કરતી ટીમો માટે, આ તફાવત નફાકારકતા ખતમ કરી શકે છે. બ્રાઉઝર એક્સટેન્શન તરીકે ચાલતું કોડિંગ આસિસ્ટન્ટ, રાત્રિ દરમિયાન પ્રોસેસ થતી બેચ સમરાઇઝેશન પાઇપલાઇન, અથવા દરેક પેજ લોડ પર મોડેલ ક્વેરી કરતું ઇન્ટરનલ લુકઅપ ટૂલ - આ તમામ એક જ પ્રકારના જોખમ હેઠળ છે. તેમનું યુનિટ ઇકોનોમિક્સ આગલા ટોકનની ચોક્કસ કિંમત પર આધારિત છે.
Novita માં શું બદલાયું છે
Novita એ નવા ખર્ચના દર અમલમાં મૂક્યા છે જે તેના કેટલોગના વિવિધ મોડેલ્સને અસર કરે છે. કંપનીએ તમામ મોડેલ્સ માટે સમાન ટકાવારી વધારો કે ઘટાડો કર્યો નથી. તેના બદલે, એડજસ્ટમેન્ટ્સ મોડેલ મુજબ અલગ-અલગ છે, જેનો અર્થ છે કે તમે કયા એન્ડપોઇન્ટ્સનો ઉપયોગ કરો છો તેના આધારે તમારું બિલ બદલાશે.
જો તમારી એપ્લિકેશન તમામ ટ્રાફિકને સિંગલ લાર્જ લેંગ્વેજ મોડેલ દ્વારા રૂટ કરે છે, તો ગણતરી સરળ છે. જૂના રેટની સરખામણી નવા રેટ સાથે કરો અને નુકસાન અથવા બચતનો અંદાજ લગાવો. પરંતુ મોટાભાગના પ્રોડક્શન સેટઅપ્સ વધુ જટિલ હોય છે. ટીમો ઘણીવાર એવું રૂટિંગ લોજિક રાખે છે જે સરળ ક્વેરીઝને હળવા મોડેલ્સ પર મોકલે છે અને જટિલ તર્ક માટે હેવીવેઇટ મોડેલ્સનો ઉપયોગ કરે છે. અન્ય લોકો લેટન્સી અને ગુણવત્તાની સરખામણી કરવા માટે વિવિધ મોડેલ્સ પર A/B ટેસ્ટ કરે છે. આવા કિસ્સાઓમાં, માત્ર એક કે બે મોડેલ્સના ભાવમાં ફેરફાર તમારા સમગ્ર ખર્ચના માળખાને બગાડી શકે છે.
ચોક્કસ પ્રતિ-ટોકન અને પ્રતિ-રિકવેસ્ટ આંકડા Dev.to પર Narevbot દ્વારા પ્રકાશિત વિગતવાર બ્રેકડાઉનમાં આપેલા છે. તમે અહીં ચોક્કસ રેટ કાર્ડ જોઈ શકો છો: https://dev.to/narevbot/changes-to-llm-pricing-novita-3plc
તમારી યાદશક્તિ અથવા ડોક્યુમેન્ટેશનમાં દબાયેલા જૂના સ્ક્રીનશોટ પર આધાર રાખશો નહીં. તમારા આગામી ક્વાર્ટરનું આયોજન કરતા પહેલા તે સ્ત્રોતમાંથી સીધા જ વર્તમાન આંકડા મેળવી લો.
તમારા જોખમનું ઓડિટ કેવી રીતે કરવું
ધારણાઓથી નહીં, પણ ડેટાથી શરૂઆત કરો. તમારા Novita ડેશબોર્ડ