API પ્રાઇસિંગ ક્યારેય માત્ર એક લાઇન આઇટમ નથી હોતું. AI ફીચર્સ લોન્ચ કરતી ટીમો માટે, તે એક સ્ટ્રક્ચરલ વેરિએબલ છે. જ્યારે Novita અને StreamLake તેમના મોડેલના દરોમાં ફેરફાર કરે છે, ત્યારે તેની અસર માત્ર ઇન્વોઇસમાં નાનો ફેરફાર નથી હોતી. તે યુનિટ ઇકોનોમિક્સની ફરીથી ગણતરી કરવા, મોડેલની પસંદગીઓને ફરીથી સંતુલિત કરવા અને આર્કિટેક્ચરલ ધારણાઓની સમીક્ષા કરવા માટેનો સંકેત છે. જો તમે આમાંથી કોઈપણ પ્લેટફોર્મ દ્વારા પ્રોડક્શન ટ્રાફિક ચલાવી રહ્યા હોવ, તો તમારે ચોક્કસપણે જાણવાની જરૂર છે કે શું બદલાયું છે અને તેના પર કેવી રીતે પ્રતિસાદ આપવો.
પ્રોડક્શન વર્કલોડ્સ માટે પ્રાઇસિંગ અપડેટ્સ શા માટે મહત્વપૂર્ણ છે
ટોકન-આધારિત બિલિંગ જ્યાં સુધી સ્કેલ ન થાય ત્યાં સુધી સસ્તું લાગે છે. પ્રોટોટાઇપમાં પ્રતિ મિલિયન ટોકન માટે થોડા ડોલરનો દર સામાન્ય લાગે છે. જ્યારે તમે લાઈવ યુઝર્સને સેવા આપતા લાખો આઉટપુટ ટોકન્સ પર તેની ગુણાકાર કરો છો, ત્યારે તે તમારા સૌથી મોટા વેરિએબલ ખર્ચમાંનું એક બની જાય છે. મોટાભાગના LLM પ્રોવાઇડર્સ ઇનપુટ અને આઉટપુટ ટોકન્સ વચ્ચે ચાર્જ વહેંચે છે, અને આ બે સંખ્યાઓ વચ્ચેનો ગુણોત્તર નક્કી કરે છે કે લાંબી વાતચીતો અથવા ભારે બેચ જોબ્સ દરમિયાન તમારું એપ્લિકેશન નુકસાનમાં તો નથી જતું ને.
દરરોજ દસ હજાર ક્વેરીઝ હેન્ડલ કરતા કસ્ટમર સપોર્ટ આસિસ્ટન્ટનો વિચાર કરો. જો સરેરાશ એક્સચેન્જમાં બે હજાર ઇનપુટ ટોકન્સ અને પાંચસો આઉટપુટ ટોકન્સ વપરાતા હોય, તો પ્રતિ હજાર ટોકન પર એક સેન્ટનો નાનો ભાગ પણ બદલાવાથી તમારું માસિક બિલ સેંકડો ડોલર વધી શકે છે. જ્યારે તમે retrieval-augmented generation કોન્ટેક્સ્ટ, સિસ્ટમ પ્રોમ્પ્ટ્સ અને મલ્ટી-ટર્ન મેમરી ઉમેરો છો, ત્યારે ઇનપુટ બાજુ અપેક્ષા કરતા વધુ ઝડપથી વધે છે. આ ચોક્કસ આર્કિટેક્ચર માટે, આઉટપુટ ટોકન્સ કરતા ઇનપુટ ટોકન્સ પરના ભાવ વધારાથી વધુ નુકસાન થાય છે. તેનાથી વિપરીત, આઉટપુટ ટોકન્સ પરના ભાવ ઘટાડાથી ચેટ-હેવી એપ્લિકેશનોને અપ્રમાણસર ફાયદો થાય છે.
Novita એક મોડેલ એગ્રીગેટર તરીકે કામ કરે છે, જે ડેવલપર્સને સિંગલ એન્ડપોઇન્ટ દ્વારા વિવિધ ઓપન-વેઇટ અને પ્રોપ્રાઇટરી મોડેલ્સનો એક્સેસ આપે છે. તે સુવિધા મૂલ્યવાન છે, પરંતુ તેનો અર્થ એ પણ છે કે પ્રાઇસિંગ ફેરફારો એકસાથે અનેક મોડેલ ફેમિલીઝને અસર કરી શકે છે. ByteDance ના ઇન્ફ્રાસ્ટ્રક્ચર ઇકોસિસ્ટમમાં મૂળ ધરાવતું StreamLake, તેની વ્યાપક ક્લાઉડ અને મીડિયા સેવાઓની સાથે LLM એક્સેસ પણ આપે છે. ત્યાં ભાવના ફેરફારો અલગથી હોતા નથી; તેઓ તે સ્ટેક સાથે જોડાયેલી ટીમો માટે ટોટલ કોસ્ટ ઓફ ઓનરશિપને અસર કરે છે.
Novita અને StreamLake માં શું બદલાયું છે
Novita કે StreamLake માંથી કોઈ પણ પ્રાઇસિંગને સ્થિર માનતું નથી. બંનેએ તેમના મોડેલના દરો અપડેટ કર્યા છે, અને વિગતો મોડેલ ટિયર અને ટોકન પ્રકાર મુજબ અલગ-અલગ હોય છે. જ્યાં સુધી તમે નવા રેટ કાર્ડ્સ સાથે તેની ચકાસણી ન કરો ત્યાં સુધી તમારે તમારા વર્તમાન પ્રોજેક્ટ અંદાજોને જૂના ગણવા જોઈએ.
Novita માટે, ધ્યાનથી જુઓ કે ફેરફારો તમે ઉપયોગ કરી રહેલા ફ્રન્ટિયર મોડેલ્સ પર લાગુ થાય છે કે તમારા મોટા પ્રમાણમાં ટ્રાફિકને હેન્ડલ કરતા સસ્તા ફોલબેક વિકલ્પો પર. એગ્રીગેટર્સ ઘણીવાર તેમના પોતાના ઇન્ફરન્સ ખર્ચને પ્રતિબિંબિત કરવા માટે પ્રાઇસિંગ એડજસ્ટ કરે છે, જે મોડેલ્સ અપડેટ થતા અથવા હાર્ડવેર કરારો બદલાતા બદલાતા રહે છે. જે મોડેલ ગઈકાલે તમારા માટે ખર્ચ-અસરકારક હતું, તે હવે અલગ બ્રેકેટમાં હોઈ શકે છે.
StreamLake ના ફેરફારો ત્યારે સૌથી વધુ મહત્વના બને છે જો તમે તેના ક્લાઉડ ઇન્ફ્રાસ્ટ્રક્ચર સાથે LLM નો ઉપયોગ કરી રહ્યા હોવ. જો તમારા કમ્પ્યુટ અને સ્ટોરેજ ખર્ચ સ્થિર રહે તો પણ મોડેલ પ્રાઇસિંગમાં ફેરફાર તમારા કુલ માસિક ખર્ચની ગણતરી બદલી શકે છે. મોટા ByteDance ઇકોસિસ્ટમની અંદર StreamLake નો ઉપયોગ કરતી ટીમોએ તપાસવાની જરૂર છે કે નવા દરો તેમના હાલના કોન્ટ્રાક્ટ્સને અસર કરે છે કે માત્ર pay-as-you-go ટિયર્સને.
તમારા સ્ટેક પર થતી અસરનું ઓડિટ કેવી રીતે કરવું
તમારું પહેલું પગલું છેલ્લા ત્રીસ દિવસના વપરાશના લોગ્સ મેળવવાનું અને તેના પર નવા દરો લાગુ કરવાનું છે. માત્ર મુખ્ય ટકાવારી પર ધ્યાન ન આપો. તેને વિગતવાર સમજો:
- ઇનપુટ ટોકન દરો વિરુદ્ધ આઉટપુટ ટોકન દરો
- કોન્ટેક્સ્ટ કેશિંગ ચાર્જિસ, જો કોઈ હોય તો