ઓપન-સોર્સ મોડલ APIs ભાગ્યે જ સ્થિર રહે છે. Novita અને StreamLake બંનેએ Large Language Models માટેના તેમના ચાર્જમાં ફેરફાર કર્યો છે, અને જો તમે આમાંથી કોઈપણ પ્લેટફોર્મ દ્વારા પ્રોડક્શન ટ્રાફિક ચલાવી રહ્યા હોવ, તો તમારે અત્યારે જ નવા આંકડાઓ તપાસવાની જરૂર છે. ટોકન ઇકોનોમિક્સ નક્કી કરે છે કે AI ફીચર નફાકારક છે કે તે ખર્ચ વધારતો લીક થતો નળ છે. જ્યારે પ્રતિ-મિલિયન-ટોકનનો દર બદલાય છે, ત્યારે તમારો માસિક ક્લાઉડ ખર્ચ પણ તેની સાથે બદલાય છે.
LLM ના ભાવ સતત શા માટે બદલાતા રહે છે
વાર્ષિક કરારો ધરાવતા પરંપરાગત સોફ્ટવેર લાયસન્સથી વિપરીત, મોટાભાગનું LLM ઇન્ફરન્સ (inference) યુટિલિટીની જેમ બિલ કરવામાં આવે છે. તમે જેનો ઉપયોગ કરો છો તેના માટે તમે ચૂકવણી કરો છો, જે સામાન્ય રીતે ટોકન્સમાં માપવામાં આવે છે. પ્રોવાઇડરનું રેટ કાર્ડ એક જીવંત દસ્તાવેજ છે. જ્યારે અન્ડરલાઇંગ GPU ક્લસ્ટર્સ સસ્તા થાય છે, જ્યારે નવા મોડલ વેટ્સ (weights) જૂના મોડલ્સનું સ્થાન લે છે, અથવા જ્યારે કોઈ પ્લેટફોર્મ માર્જિન પર સ્પર્ધા કરવાનું નક્કી કરે છે, ત્યારે તે બદલાય છે.
જ્યારે તમે પ્રોટોટાઇપિંગ કરી રહ્યા હોવ ત્યારે આ અસ્થિરતાને અવગણવી સરળ છે. એક સાઇડ પ્રોજેક્ટ જે દિવસના થોડા હજાર ટોકન્સ વાપરે છે, તેને વીસ ટકાના ભાવના ફેરફારની ખબર પણ નહીં પડે. પ્રોડક્શન વર્કલોડ અલગ હોય છે. ગ્રાહક-સંબંધિત ચેટબોટ, ડોક્યુમેન્ટ પાર્સર, અથવા કોડ-જનરેશન પાઇપલાઇન દર મહિને સરળતાથી કરોડો ટોકન્સનો વપરાશ કરી શકે છે. તે સ્કેલ પર, પ્રતિ-ટોકન પ્રાઇસિંગમાં નાનો ફેરફાર પણ તમારા ઇન્ફ્રાસ્ટ્રક્ચર બજેટને ફરીથી લખી શકે છે.
Novita અને StreamLake બંને આ ઉચ્ચ-પરિવર્તનશીલ (high-churn) ભાવના વાતાવરણમાં કાર્ય કરે છે. તેઓ માત્ર એક જ મોડલનું રિસેલિંગ નથી કરી રહ્યા; તેઓ એક જ છત હેઠળ રેન્જ ઓફ ઓપન-વેઇટ અને પ્રોપ્રાઇટરી એન્ડપોઇન્ટ્સ હોસ્ટ કરે છે. જ્યારે તેઓ તેમના ટેરિફ અપડેટ કરે છે, ત્યારે તેની અસર તમે તેમના APIs દ્વારા ઇન્ટિગ્રેટ કરેલા દરેક મોડલ પર પડે છે.
Novita અને StreamLake શું કરે છે
બંને પ્લેટફોર્મ ઇન્ફરન્સ પ્રોવાઇડર અથવા API ગેટવે તરીકે કાર્ય કરે છે. Llama, Mistral, Qwen અથવા અન્ય મોડલ્સને તમારા પોતાના GPUs પર સેલ્ફ-હોસ્ટ કરવાને બદલે, તમે તેમના એન્ડપોઇન્ટ્સ પર વિનંતીઓ મોકલો છો. તમને પ્રમાણિત ઓથેન્ટિકેશન, લોડ બેલેન્સિંગ, અને ક્યારેક વિવિધ મોડલ ફેમિલીઝમાં યુનિફાઇડ ફોર્મેટિંગ મળે છે. બદલામાં, તમારે કાચા કમ્પ્યુટ ખર્ચને બદલે પ્લેટફોર્મના માર્ક-અપ રેટ ચૂકવવા પડે છે.
તેમના પ્રાઇસિંગ પેજ ઇનપુટ ટોકન્સ (પ્રોમ્પ્ટ) અને આઉટપુટ ટોકન્સ (કમ્પ્લીશન) માટે અલગ-અલગ દર દર્શાવે છે. કેટલાક મોડલ્સ મોટા કોન્ટેક્સ્ટ વિન્ડોઝ અથવા વિશિષ્ટ વેરિઅન્ટ્સ માટે પ્રીમિયમ સરચાર્જ પણ લે છે. કારણ કે તેઓ ઘણા મોડલ્સનું એગ્રીગેશન કરે છે, Novita અથવા StreamLake તરફથી એક જ પ્રાઇસિંગ અપડેટ એકસાથે અનેક એન્ડપોઇન્ટ્સને અસર કરી શકે છે. તમે લોગ ઇન કરો ત્યારે તમને ખબર પડી શકે કે ગયા ક્વાર્ટરમાં તમે પસંદ કરેલું સસ્તું સમરાઇઝેશન મોડલ હવે તે જ પ્લેટફોર્મ પરના મોટા વિકલ્પ કરતા મોંઘું છે.
તાજેતરના ફેરફારો તમારા બિલ પર કેવી રીતે અસર કરશે
Novita અને StreamLake તરફથી આવેલા તાજેતરના અપડેટ્સ કેટલાક મોડલ્સ માટેના રેટ કાર્ડમાં ફેરફાર કરે છે. જો તમે તમારા વર્તમાન ઇન્ટિગ્રેશન્સનું ઓડિટ નથી કરતા, તો તમે અનિચ્છાએ નવા નિયમો સાથે સંમત થઈ રહ્યા છો. ભાવમાં ફેરફાર સીધી અને માપી શકાય તેવી રીતે તમે Large Language Models માટે કેવી રીતે ચૂકવણી કરો છો તેના પર અસર કરે છે:
- Per-token rates: ઇનપુટ અને આઉટપુટ ખર્ચમાં તફાવત આવી શકે છે. આઉટપુટ ટોકન્સ સામાન્ય રીતે વધુ મોંઘા હોય છે કારણ કે ટેક્સ્ટ વાંચવા કરતાં ટેક્સ્ટ જનરેટ કરવા માટે વધુ કમ્પ્યુટની જરૂર પડે છે. જો પ્રોવાઇડરે આઉટપુટ પ્રાઇસિંગમાં અપ્રમાણસર વધારો કર્યો હોય, તો કોઈપણ વધુ વિગતવાર (verbose) એપ્લિકેશનના ખર્ચમાં મોટો ઉછાળો જોવા મળશે.
- Model-specific adjustments: દરેક એન્ડપોઇન્ટ એકસાથે બદલાતા નથી. એક લોકપ્રિય મોડલ સસ્તું થઈ શકે છે જ્યારે એક નિશ (niche) વેરિઅન્ટ મોંઘું થઈ શકે છે. ચાર્ટ તપાસ્યા વિના, તમે તમારા બજેટ માટે ખોટા એન્ડપોઇન્ટ દ્વારા ટ્રાફિક ચલાવી રહ્યા હોઈ શકો છો.
- Tiered or volume breaks: કેટલાક પ્રોવાઇડર્સ બલ્ક ડિસ્કાઉન્ટ મળતા હોય તેવા થ્રેશોલ્ડમાં ફેરફાર કરે છે. જો તમે તાજેતરમાં ઉચ્ચ વોલ્યુમ બેન્ડમાં પ્રવેશ્યા હોવ, તો નવું પ્રાઇસિંગ ખરેખર તમને મદદ કરી શકે છે, અથવા તે તે ડિસ્કાઉન્ટ દૂર કરી શકે છે જેના પર તમે આધાર રાખતા હતા.
કારણ કે તમે જેનો ઉપયોગ કરો છો તેના માટે જ ચૂકવણી કરો છો, તેથી ખર્ચને નિયંત્રિત કરવાનો એકમાત્ર રસ્તો તમારા વર્કલોડને વર્તમાન ભાવના માળખા સાથે મેચ કરવાનો છે. જૂનું રેટ કાર્ડ હવે માત્ર ઐતિહાસિક ડેટા છે.
ડેવલપર્સ માટે એક વ્યવહારુ ઓડિટ
જો તમે તાજેતરમાં તમારા ઇન્ફરન્સ ખર્ચની સમીક્ષા કરી નથી, તો અત્યારે જ સમય છે. નુકસાનનું મૂલ્યાંકન કરવા અને ખર્ચ ઘટાડવા માટે અહીં એક સરળ રીત છે.
1. તમારા વપરાશના લોગ્સ (usage logs) મેળવો. છેલ્લા ત્રીસ દિવસના ડેટા જુઓ. ઇનપુટ ટોકન્સને આઉટપુટ ટોકન્સથી અલગ કરો, અને તેને મોડલ મુજબ વિભાજિત કરો. Novita અને StreamLake ના મોટાભાગના ડેશબોર્ડ આ માહિતી આપે છે, અથવા તમે તમારા પોતાના રિક્વેસ્ટ લોગ્સમાંથી તેને મેળવી શકો છો.
2. નવા પ્રાઇસિંગ સાથે સરખામણી કરો. તમારા ટોકન કાઉન્ટ લો અને તેને અપડેટ કરેલા દરો સાથે ગુણો. તે આંકડાની જૂના પ્રાઇસિંગ હેઠળ ગયા મહિને તમે ચૂકવેલ રકમ સાથે સરખામણી કરો. આ તફાવત (delta) તમારો નવો માસિક રન રેટ છે.
3. મોડેલ સ્વેપ્સ (model swaps) નું મૂલ્યાંકન કરો. જો તમે ઉપયોગ કરતા મોડેલ નોંધપાત્ર રીતે મોંઘું થઈ જાય, તો તપાસો કે તે જ પ્લેટફોર્મ પર કોઈ સસ્તો વિકલ્પ તમારા ગુણવત્તાના ધોરણોને પૂર્ણ કરે છે કે નહીં. નાના પેરામીટર ધરાવતા મોડેલ અથવા ક્વોન્ટાઈઝ્ડ (quantized) વર્ઝનનું A/B ટેસ્ટિંગ કરો. ક્યારેક રૂટિન કાર્યો માટે ચોકસાઈમાં ઘટાડો નગણ્ય હોય છે.
4. તમારા પ્રોમ્પ્ટ્સને કોમ્પ્રેસ કરો. જ્યારે સિસ્ટમ પ્રોમ્પ્ટ્સ few-shot ઉદાહરણો અથવા લાંબા દસ્તાવેજોથી ભરાઈ જાય છે, ત્યારે ઇનપુટ ખર્ચ વધી જાય છે. ઇન્જેક્શન પહેલાં સંદર્ભ (context) ને સંક્ષિપ્ત કરવાનો પ્રયાસ કરો, max_token મર્યાદા ઘટાડો, અથવા વર્કિંગ વિન્ડોને ટૂંકી કરવા માટે રિટ્રીવલ (retrieval) નો ઉપયોગ કરો. ઇનપુટ બાજુથી તમે જેટલા ટોકન્સ ઘટાડશો, તેટલા નવા દરે પૈસા બચશે.
5. બજેટ એલર્ટ્સ સેટ કરો. મોટાભાગના પ્લેટફોર્મ તમને ખર્ચની મર્યાદા (spending caps) અથવા દૈનિક વપરાશ થ્રેશોલ્ડ ઓળંગે ત્યારે વેબહૂક (webhook) એલર્ટ્સ કન્ફિગર કરવાની સુવિધા આપે છે. જો તમે આ ચાલુ નહીં કરો, તો બિલિંગ સાયકલની વચ્ચે કિંમતમાં ફેરફાર તમને આશ્ચર્યચકિત કરી શકે છે.
રેટ કાર્ડ્સ પરની ઝીણવટભરી વિગતો વાંચો
જ્યારે તમે અપડેટ કરેલી કિંમતોની સમીક્ષા કરો, ત્યારે માત્ર હેડલાઇન પરના 'per-million-token' આંકડાને જ ન જુઓ. પ્રદાતાઓ (Providers) ઘણીવાર દસ્તાવેજોમાં ઝીણવટભરી વિગતો છુપાવી દેતા હોય છે.
તપાસો કે context caching ઉપલબ્ધ છે કે નહીં. કેટલાક પ્લેટફોર્મ લાંબા દસ્તાવેજને કેશ (cache) કરવા માટે ફ્લેટ ફી લે છે, અને પછી પછીના કોલ્સ પર પ્રતિ-રિકવેસ્ટ ખર્ચ ઘટાડે છે. જો તમારું એપ્લિકેશન દર વખતે સમાન બેકગ્રાઉન્ડ સંદર્ભને ફરીથી વાંચતું હોય, તો કેશિંગ કિંમતમાં વધારાને સંતુલિત કરી શકે છે.
એવા રેટ લિમિટિંગ (rate limiting) પર ધ્યાન આપો જે પરોક્ષ રીતે ખર્ચ વધારે છે. જો નવી કિંમતો તમને ઉચ્ચ થ્રુપુટ ટિયર (higher throughput tier) તરફ ધકેલે છે, તો તમારે કેપેસિટી રિઝર્વ કરવી પડી શકે છે અથવા લઘુત્તમ પ્રતિબદ્ધતાઓ (minimum commitments) ચૂકવવી પડી શકે છે. એ પણ ખાતરી કરો કે API ટોકન્સ જનરેટ થયા તેના આધારે બિલ કરે છે કે ટોકન્સ રિક્વેસ્ટ થયા તેના આધારે. જો રિકવેસ્ટ મહત્તમ લંબાઈની મર્યાદાને વટાવી જાય, તો પ્રતિસાદ (response) કપાઈ જાય તો પણ તમારે ખર્ચ ચૂકવવો પડે છે.
જો તમે Novita અથવા StreamLake દ્વારા fine-tuned અથવા પ્રાઇવેટ એન્ડપોઇન્ટ્સનો ઉપયોગ કરી રહ્યા હોવ, તો તપાસો કે ઇન્ફરન્સ ફીની સાથે તેમની હોસ્ટિંગ ફીમાં પણ ફેરફાર થયો છે કે નહીં. જો તમે સમયાંતરે (intermittent) વર્કલોડ ચલાવો છો, તો સ્ટોરેજ અને કોલ્ડ-સ્ટાર્ટ ખર્ચ ટોકન કિંમતો કરતા વધી શકે છે.
સ્થિતિસ્થાપક AI બજેટ બનાવવું
કોઈ પણ એક પ્રદાતાએ તમારા સમગ્ર ઇન્ફરન્સ બજેટ પર કબજો જમાવવો જોઈએ નહીં. ધ્યેય એવા સિસ્ટમ્સ બનાવવાનો છે જ્યાં કિંમતોના અપડેટ્સ રૂટિન મેન્ટેનન્સ હોય, ઇમરજન્સી નહીં. તમારા લેટન્સી (latency) અને ચોકસાઈની જરૂરિયાતોને અનુરૂપ વૈકલ્પિક મોડેલ્સની એક યાદી તૈયાર રાખો. તમારા કોડબેઝમાં લાઇટવેઇટ એબ્સ્ટ્રેક્શન લેયર્સ (abstraction layers) જાળવી રાખો જેથી તમે બિઝનેસ લોજિક ફરીથી લખ્યા વિના એન્ડપોઇન્ટ્સ બદલી શકો.
ખર્ચ એ એકમાત્ર ચલ (variable) નથી. લેટન્સી, ઉપલબ્ધતા અને context-window સાઈઝ પણ મહત્વની છે. પરંતુ કિંમત એ એવું ચલ છે જે ચેતવણી વગર બદલાય છે. Novita અને StreamLake ને ફિક્સ્ડ યુટિલિટીઝને બદલે ડાયનેમિક માર્કેટપ્લેસ તરીકે ગણીને, તમે પરિસ્થિતિથી આગળ રહી શકો છો.
મુખ્ય સારાંશ
તમે જેનું માપન નથી કરી શકતા તેનું ઓપ્ટિમાઇઝેશન કરી શકતા નથી. Novita અને StreamLake પાસે હવે નવા રેટ કાર્ડ્સ છે. વિગતો અહીં તપાસો, અપડેટ કરેલા ખર્ચ સામે તમારા આંકડાઓ ફરીથી તપાસો, અને નક્કી કરો કે તમારું વર્તમાન સ્ટેક (stack) હજુ પણ આર્થિક રીતે યોગ્ય છે કે નહીં. ઓડિટ કરવા માટે તમે વિતાવેલા થોડા કલાકો ભવિષ્યમાં ફાઇનાન્સ વિભાગ સાથે થનારી મોટી ચર્ચાને અટકાવશે.
જો તમે અન્ય બિલ્ડર્સ સાથે અનુભવો શેર કરવા માંગતા હોવ જે વિવિધ પ્રદાતાઓ પર ઇન્ફરન્સ ખર્ચને ટ્રેક કરી રહ્યા છે, તો GyaanSetu learning community વ્યૂહરચનાઓની તુલના કરવા માટે એક સારી જગ્યા છે. કિંમતમાં ફેરફાર ત્યારે જ પીડાદાયક હોય છે જ્યારે તે તમને અચાનક મળે.