LLM ઇન્ફ્રાસ્ટ્રક્ચરના બિલ ભાગ્યે જ આંચકો તરીકે આવે છે. તે ક્રમશઃ વધારામાં જમા થાય છે—દર હજાર વિનંતીઓ દીઠ થોડા વધારાના ડોલર, આઉટપુટ-ટોકન દરોમાં થોડો વધારો, અથવા કોન્ટેક્સ્ટ-વિન્ડો એડજસ્ટમેન્ટ જે શાંતિથી લાંબી વાતચીતોનો ખર્ચ વધારે છે. જ્યારે આ ફેરફાર વાસ્તવિક લાગે, ત્યાં સુધીમાં તમે એવા આંકડાઓ પર વર્કફ્લો, ગ્રાહક પ્રતિબદ્ધતાઓ અને બજેટ અનુમાન બનાવી લીધા હોય છે જે હવે અસ્તિત્વમાં નથી.

એટલા માટે જ Mancer 2, Novita, અને StreamLake ના તાજેતરના ભાવ સુધારાઓ આગામી ક્વાર્ટરને બદલે અત્યારે જ તમારા ધ્યાન પર આવવા જોઈએ. આમાંથી કોઈ પણ પ્લેટફોર્મ અચાનક દસ ગણા વધારા માટે હેડલાઇન્સમાં નથી, પરંતુ અનેક પ્રદાતાઓ દ્વારા થતા ક્રમશઃ ફેરફારો ઝડપથી સંચિત (compound) થાય છે. જો તમે પ્રોડક્શન વર્કલોડ્સ ચલાવો છો, નિયમિતપણે fine-tune કરો છો, અથવા વિવિધ APIs પર ટ્રાફિક રૂટ કરો છો, તો સામાન્ય દરનું એડજસ્ટમેન્ટ પણ તમારા યુનિટ ઇકોનોમિક્સને બદલી શકે છે.

મોટા પાયે નાના ભાવ ફેરફારો શા માટે મહત્વના છે

મોટાભાગની એન્જિનિયરિંગ ટીમો ક્વોલિટી બેન્ચમાર્ક અને લેટન્સીના આધારે લાર્જ લેંગ્વેજ મોડલ API પસંદ કરે છે. ખર્ચની વાત પણ આવે છે, છતાં તેને ઘણીવાર સ્થિર ફૂટનોટ તરીકે ગણવામાં આવે છે. વાસ્તવમાં, પ્રાઇસિંગ એ તમારા સ્ટેકમાં સૌથી ગતિશીલ વેરિએબલ્સમાંનું એક છે. ટોકન-આધારિત બિલિંગનો અર્થ છે કે તમારા ખર્ચ વપરાશ સાથે રેખીય રીતે વધે છે, પરંતુ તેઓ વર્તણૂક સાથે પણ વધે છે. લાંબા સિસ્ટમ પ્રોમ્પ્ટ્સ, ભારે JSON આઉટપુટ સ્કીમા અને ચેટ હિસ્ટ્રી રિટેન્શન આ બધું ટોકન કાઉન્ટ વધારે છે. જ્યારે કોઈ પ્રદાતા તેના રેટ કાર્ડમાં ફેરફાર કરે છે, ત્યારે તેની અસર માત્ર ફ્લેટ ફીમાં વધારો નથી હોતી. તે દરેક ભવિષ્યના ઇન્ટરેક્શન પર ગુણક (multiplier) તરીકે કામ કરે છે.

Mancer 2, Novita, અને StreamLake દરેક ઇન્ફરન્સ માર્કેટમાં અલગ-અલગ ક્ષેત્રો ધરાવે છે, અને ત્રણેયમાં તાજેતરના એડજસ્ટમેન્ટ્સનો અર્થ એ છે કે જે ડેવલપર્સ અગાઉ API ખર્ચ માટે સાદી સ્પ્રેડશીટ પર નિર્ભર હતા, તેમને હવે વધુ સક્રિય મોનિટરિંગ વ્યૂહરચનાની જરૂર છે. જો તમે આ અપડેટ્સને સામાન્ય વહીવટી નોંધ તરીકે ગણશો, તો તમારું માસિક ઇનવોઇસ આવ્યા પછી જ તેની અસર જાણવાનું જોખમ રહેશે.

શું બદલાયું અને ક્યાં જોવું

Mancer 2 અપડેટ્સ

Mancer 2 એ ભાવમાં એવા ફેરફારો કર્યા છે જે તેના એન્ડપોઇન્ટ્સ માટે તમે કેવી રીતે બજેટ બનાવો છો તેના પર અસર કરે છે. જો તમે હાલમાં પ્રોડક્શન ટ્રાફિક માટે Mancer 2 નો ઉપયોગ કરી રહ્યા હોવ, તો સૌથી પહેલા એ તપાસવું જોઈએ કે આ અપડેટ ઇનપુટ ટોકન્સ, આઉટપુટ ટોકન્સ અથવા બંનેને અસર કરે છે કે નહીં. કેટલાક પ્રદાતાઓ ફક્ત જનરેશન-સાઇડ પ્રાઇસિંગમાં ફેરફાર કરે છે, જે લાંબા, સ્ટ્રક્ચર્ડ આઉટપુટ આપતા એપ્લિકેશન્સને નુકસાન પહોંચાડે છે. અન્ય લોકો પ્રોમ્પ્ટ સાઇડનો ખર્ચ વધારે છે, જે વિસ્તૃત few-shot prompting અથવા મોટા context injections ને નુકસાન પહોંચાડે છે. ચોક્કસ વિગતો વાંચ્યા વિના, તમે માની શકતા નથી કે તેની અસર સમાન હશે. તમારા કયા ઉપયોગના કિસ્સાઓ (use cases) વધુ મોંઘા બને છે તે જોવા માટે તમારા પોતાના લોગિંગ ડેટાને નવા રેટ કાર્ડ સાથે સરખાવો.

Novita પ્રાઇસિંગ શિફ્ટ

Novita એ પણ તેના દરોમાં ફેરફાર કર્યો છે. જે ટીમો મોટા ક્લાઉડ APIs ના ખર્ચ-અનુકૂળ વિકલ્પ તરીકે Novita નો ઉપયોગ કરે છે, તેમના માટે જ્યારે વોલ્યુમ લાખોમાં પહોંચે ત્યારે પ્રતિ હજાર ટોકન પરના અપૂર્ણાંક સેન્ટનો ફેરફાર પણ મહત્વનો બને છે. Novita નું ઇન્ફ્રાસ્ટ્રક્ચર ઘણીવાર એવા પ્રોજેક્ટ્સને આકર્ષે છે જેને મેનેજ્ડ પ્લેટફોર્મ પ્રીમિયમ વગર હાઇ થ્રુપુટની જરૂર હોય છે. જ્યારે તે ગણતરી બદલાય, ત્યારે તમારે તમારા પ્રતિ-વિનંતી (per-request) ખર્ચ મોડલ્સ ફરીથી ચલાવવાની જરૂર છે. ખાસ કરીને એ જુઓ કે Novita એ ટાયર્ડ પ્રાઇસિંગ (tiered pricing) રજૂ કર્યું છે, બલ્ક-ઇન્ફરન્સ ડિસ્કાઉન્ટમાં ફેરફાર કર્યો છે, અથવા ફ્રી-ટાયર મર્યાદાઓને પુનર્ગઠિત કરી છે કે નહીં. આમાંથી કોઈપણ ફેરફાર કોઈપણ ચેતવણી વગર વર્કલોડને "સૌથી સસ્તો વિકલ્પ" માંથી "મધ્યમ શ્રેણી" માં બદલી શકે છે.

StreamLake એડજસ્ટમેન્ટ્સ

StreamLake તેના પોતાના એડજસ્ટમેન્ટ્સ સાથે આ ત્રિપુટીને પૂર્ણ કરે છે. જો StreamLake તમારા મીડિયા-રિચ અથવા લોંગ-કોન્ટેક્સ્ટ વર્કલોડ્સ સંભાળતું હોય, તો નવા દરોની સરખામણી તમારા ઐતિહાસિક સરેરાશ સેશન લંબાઈ સાથે કરો. લાંબા કોન્ટેક્સ્ટમાં નિષ્ણાત એવા પ્રદાતાઓ ક્યારેક વિસ્તૃત સિક્વન્સ માટે કેવી રીતે ચાર્જ કરવો તેમાં ફેરફાર કરે છે, જેનો અર્થ છે કે તમારી સૌથી મોંઘી વિનંતીઓ સૌથી વધુ અસરગ્રસ્ત હોઈ શકે છે. એવું ન માનો કે હેડલાઇન ટકાવારી ફેરફાર તમારી વાસ્તવિક અસરને દર્શાવે છે. તમારા ગયા મહિનાની વિનંતીઓનો એક પ્રતિનિધિ નમૂનો (representative sample) લો અને નવા સ્કીમા હેઠળ તેની ફરીથી ગણતરી કરો.

તમે Dev.to પર Narev ના વિગતવાર વિશ્લેષણમાં સંપૂર્ણ રેટ-કાર્ડ સરખામણી અને અપડેટ ટાઈમલાઈન જોઈ શકો છો. તેનો ઉપયોગ તમારા પોતાના ગણિતના વિકલ્પ તરીકે નહીં, પરંતુ ક્રોસ-રેફરન્સ તરીકે કરો.

બિનજરૂરી ઘોંઘાટ વગર પ્રાઇસિંગ અપડેટ કેવી રીતે વાંચવું

જ્યારે કોઈ API પ્રદાતા નવા દરો જાહેર કરે છે, ત્યારે માર્કેટિંગ ભાષા સામાન્ય રીતે સુલભતા અને કામગીરી (performance) પર ભાર મૂકે છે. તેને અવગણો. ત્રણ નક્કર પ્રશ્નો પર ધ્યાન કેન્દ્રિત કરો.

પ્રથમ, શું આ અપડેટ ઇનપુટ પ્રાઇસિંગ (input pricing), આઉટપુટ પ્રાઇસિંગ (output pricing), અથવા એમ્બેડિંગ (embedding) કે ફાઇન-ટ્યુનિંગ (fine-tuning) જેવી આનુષંગિક ફીમાં ફેરફાર કરે છે? તમારા પોતાના ટેલિમેટ્રી (telemetry) ડેટાને આ જ અક્ષો (axes) પર વિભાજિત કરો. જો તમારા ખર્ચના 80 ટકા આઉટપુટ જનરેશન પર હોય અને પ્રોવાઈડર ફક્ત ઇનપુટ ખર્ચમાં વધારો કરે, તો તમને બહુ મોટું નુકસાન નહીં થાય. જો તમે એવા સમરાઇઝેશન પાઇપલાઇન્સ ચલાવતા હોવ જે મોટા ઇનપુટમાંથી ટૂંકા આઉટપુટ આપે છે, તો તેનાથી વિપરીત પરિસ્થિતિ સર્જાશે.

બીજું, શું રેટ લિમિટ્સ (rate limits) અથવા થ્રુપુટ ટિયર્સ (throughput tiers) બદલાયા છે? ક્યારેક પ્રોવાઈડર પ્રતિ-ટોકન પ્રાઇસિંગ સ્થિર રાખે છે પરંતુ ફ્રી કન્કરન્સી ટિયર (free concurrency tier) ઘટાડી દે છે અથવા નવા ક્યુઇંગ ચાર્જિસ (queueing charges) દાખલ કરે છે. આ સીધી રીતે લેટન્સી (latency) અને ઇન્ફ્રાસ્ટ્રક્ચર ખર્ચમાં પરિણમે છે.

ત્રીજું, શું નવા કોસ્ટ-કંટ્રોલ ટૂલ્સ ઉપલબ્ધ છે? જો તમે તમારા કોલ્સનું માળખું ફરીથી ગોઠવો, તો પ્રાઇસિંગમાં વધારો અને તેની સાથે મળતું પ્રોમ્પ્ટ-કેશિંગ ડિસ્કાઉન્ટ (prompt-caching discount) અથવા બેચ-ઇન્ફરન્સ માર્કડાઉન (batch-inference markdown) ખરેખર તમને મદદ કરી શકે છે. મુખ્ય આંકડો ક્યારેય આખી વાર્તા કહેતો નથી.

ખર્ચ બદલાતી વખતે તમારા સ્ટેકને (stack) અનુમાનિત રાખવો

તમે પ્રોવાઈડરના પ્રાઇસિંગને સ્થિર કરી શકતા નથી, પરંતુ તમે એવા સિસ્ટમ્સ બનાવી શકો છો જે દર ત્રણ મહિને કોડ ફરીથી લખ્યા વગર ફેરફારોને સ્વીકારી શકે.

રિક્વેસ્ટ રાઉટિંગ (request routing) થી શરૂઆત કરો. જો તમારા આર્કિટેક્ચરમાં Mancer 2, Novita, અને StreamLake દરેક અલગ-અલગ વર્કલોડ્સ માટે કામ કરતા હોય, તો કોસ્ટ-પરફોર્મન્સ ટ્રેડ-ઓફને (cost-performance trade-off) કોડિફાય કરો જેથી તમે ટ્રાફિક ઝડપથી બદલી શકો. છ મહિના પહેલા જે ફોલબેક મોડેલ (fallback model) 20 ટકા વધુ મોંઘું હતું, તે તાજેતરના અપડેટ્સ પછી હવે સસ્તો વિકલ્પ હોઈ શકે છે. લાઈવ પ્રાઇસિંગને ધ્યાનમાં લેતા રાઉટર વગર, તમે નાણાકીય તક ગુમાવો છો.

હવે, તમારા કોન્ટેક્સ્ટને (context) કોમ્પ્રેસ કરો. જ્યારે તમે આદતવશ દરેક રિક્વેસ્ટમાં હજારો ટોકન્સ મોકલો છો, ત્યારે પ્રાઇસિંગમાં ફેરફાર સૌથી વધુ નુકસાન પહોંચાડે છે. તમારા પ્રોમ્પ્ટ્સમાં બિનજરૂરી સિસ્ટમ ઇન્સ્ટ્રક્શન, વધુ પડતા લાંબા સ્કીમા (schemas) અને અનકોમ્પ્રેસ્ડ ચેટ હિસ્ટ્રી માટે ઓડિટ કરો. ઇનપુટની લંબાઈમાં 30 ટકા ઘટાડો કરવાથી 30 ટકાના ભાવ વધારાનો પ્રભાવ શમી જાય છે. પ્રોવાઈડર બદલવા કરતાં આ ઘણીવાર ઝડપી હોય છે.

એગ્રેસિવલી કેશ (Cache) કરો. ઘણી ટીમો સમાન અથવા લગભગ સમાન પ્રોમ્પ્ટ્સ ફરીથી મોકલે છે કારણ કે કેશ લેયર (cache layer) જાળવવું તેના કરતા સરળ છે. એકવાર પ્રાઇસિંગ બદલાય, પછી આ આળસ મોંઘી પડે છે. જ્યારે તમારો ઉપયોગનો કિસ્સો (use case) મંજૂરી આપે ત્યારે તાજેતરના કમ્પ્લીશન્સ (completions) અને એમ્બેડિંગ્સ સ્ટોર કરો, ખાસ કરીને StreamLake અથવા Novita એન્ડપોઇન્ટ્સ દ્વારા ચાલતા એનાલિટિકલ અથવા પુનરાવર્તિત વર્કલોડ્સ માટે.

અંતે, API બિલ રિવ્યુની જવાબદારી કોઈને સોંપો. તે ફૂલ-ટાઇમ ભૂમિકા હોવી જરૂરી નથી, પરંતુ તે કેલેન્ડરમાં એક નિયમિત ઇવેન્ટ હોવી જોઈએ. મહિનામાં એકવાર, અંદાજિત ખર્ચ અને વાસ્તવિક ખર્ચનું મેળવણી કરો, જે પ્રોવાઈડરના ભાવમાં ઘટાડો થયો હોય તેને ફ્લેગ કરો, અને અન્ય વિકલ્પો સામે ખર્ચની સરખામણી ફરીથી કરો. જવાબદારી વગર, પ્રાઇસિંગમાં થતો ફેરફાર આર્કિટેક્ચરલ ડેબ્ટ (architectural debt) બની જાય છે.

પ્રાઇસિંગ હાઇજીન (pricing hygiene) ને તમારી પ્રક્રિયાનો ભાગ બનાવો

ઇન્ફ્રાસ્ટ્રક્ચર ટીમો પહેલેથી જ શેડ્યૂલ મુજબ સિક્યુરિટી પેચ અને ડિપેન્ડન્સી અપડેટ્સની સમીક્ષા કરે છે. પ્રાઇસિંગ પણ તે જ ચેકલિસ્ટમાં હોવું જોઈએ. Mancer 2, Novita, અને StreamLake તરફથી તાજેતરના ફેરફારો કોઈ અસાધારણ બાબત નથી. તે પુરાવા છે કે ઇન્ફરન્સ માર્કેટ (inference market) હજુ પણ તેનું સંતુલન શોધી રહ્યું છે. નવું હાર્ડવેર, ઓપ્ટિમાઇઝ્ડ ઇન્ફરન્સ એન્જિન અને બદલાતી માંગ ભવિષ્યમાં પણ રેટ કાર્ડ્સમાં ફેરફારો લાવતી રહેશે.

જે ટીમો આનું સારી રીતે સંચાલન કરે છે તેઓ દરેક ફેરફારની આગાહી નથી કરતી. તેઓ ફક્ત વિઝિબિલિટી (visibility) જાળવી રાખે છે. તેઓ જાણે છે કે કયા એન્ડપોઇન્ટ્સનો કેટલો ખર્ચ થાય છે, કયા વર્કલોડ્સ ઇલાસ્ટિક (elastic) છે, અને જ્યારે ગણિત બદલાય ત્યારે ટ્રાફિક ક્યાં ખસેડવો. તે શિસ્ત એક વિક્ષેપકારક અપડેટને રૂટિન કોન્ફિગરેશન ટ્વીક (configuration tweak) માં બદલી નાખે છે.

જો તમે સમાન ફેરફારોમાંથી પસાર થતા અન્ય બિલ્ડર્સ સાથે ચર્ચા કરવા માટે કોઈ જગ્યા ઈચ્છતા હોવ, તો GyaanSetu લર્નિંગ કોમ્યુનિટી ખુલ્લી છે. તમે અમને ટેલિગ્રામ પર શોધી શકો છો.

નિષ્કર્ષ: Mancer 2, Novita, અને StreamLake પર પ્રાઇસિંગ બદલાયું છે. યાદશક્તિ અથવા જૂના ડોક્યુમેન્ટેશન પર આધાર રાખશો નહીં. તમારા લોગ્સ (logs) મેળવો, તેમને નવા દરો સાથે મેળવો, અને નક્કી કરો કે તમારું વર્તમાન રાઉટિંગ હજુ પણ આર્થિક રીતે યોગ્ય છે કે નહીં. ગયા મહિનાનું સૌથી સસ્તું મોડેલ આજે પણ સૌથી સસ્તું હશે તેની કોઈ ખાતરી નથી.