જો તમે લાર્જ લેંગ્વેજ મોડલ્સ પર પ્રોડક્શન વર્કલોડ્સ ચલાવતા હોવ,
ખર્ચ-ટ્રેકિંગની આદત કેવી રીતે કેળવવી
આ બાબતે સતર્ક રહેવા માટે તમારે કોઈ એન્ટરપ્રાઇઝ ફાઇનાન્સ ટીમની જરૂર નથી. તમારે ફક્ત એક નિયમિત રૂટિન અને ફેરફારો નોંધવા માટે એક જગ્યાની જરૂર છે.
તમારા રેટ કાર્ડ્સને કેન્દ્રીયકરણ કરીને શરૂઆત કરો. એક સાદું દસ્તાવેજ રાખો—પછી તે શેર કરેલ વિકી પેજ હોય, Notion ટેબલ હોય, અથવા તમારા ડેવ ચેનલમાં પિન કરેલ મેસેજ હોય—જેમાં તમે ઉપયોગ કરતા દરેક મોડેલ માટેના વર્તમાન પ્રતિ-ટોકન (per-token) અથવા પ્રતિ-રિકવેસ્ટ (per-request) ભાવની યાદી હોય. જ્યારે કોઈ પ્રોવાઈડર ફેરફારની જાહેરાત કરે, ત્યારે તરત જ દસ્તાવેજ અપડેટ કરો. સ્પ્રિન્ટ રિવ્યુ (sprint review) ની રાહ ન જુઓ.
હવે, તમારા વપરાશને પ્રોવાઈડર અને મોડેલ મુજબ ટેગ કરો. મોટાભાગના ઓબ્ઝર્વેબિલિટી ટૂલ્સ (observability tools) તમને API કોલ્સ સાથે કસ્ટમ મેટાડેટા જોડવાની સુવિધા આપે છે. સાપ્તાહિક ખર્ચના સારાંશ બનાવવા માટે તે ટેગનો ઉપયોગ કરો. જો તમને ખર્ચમાં અચાનક વધારો (spike) દેખાય, તો તમે દિવસોને બદલે સેકન્ડોમાં જાણી શકશો કે તે વપરાશમાં વધારો છે કે રેટમાં ફેરફાર.
બર્ન-રેટ એલર્ટ (burn-rate alert) બનાવો. આ માટે કોઈ જટિલ સિસ્ટમની જરૂર નથી. એક શેડ્યૂલ કરેલ સ્ક્રિપ્ટ જે તમારા વપરાશના ડેશબોર્ડમાંથી માહિતી મેળવે અને દરરોજ સવારે Slack પર એક આંકડો પોસ્ટ કરે તે પૂરતું છે. જ્યારે આ આંકડો વધે, ત્યારે તમને તે જ દિવસે ખબર પડી જશે, ત્રીસ દિવસ પછી જ્યારે ફાઇનાન્સ ટીમ ગુસ્સાવાળો ઈમેલ મોકલે ત્યારે નહીં.
દર ત્રણ મહિને તમારા મોડેલની પસંદગીઓની સમીક્ષા કરો. જાન્યુઆરીમાં તમારા ઉપયોગ માટેનું શ્રેષ્ઠ મોડેલ જૂનમાં શ્રેષ્ઠ ન પણ હોય, એવું એટલા માટે નથી કે મોડેલ ખરાબ થઈ ગયું છે, પરંતુ એટલા માટે કે કિંમતોનું માળખું બદલાઈ ગયું છે. જે પ્રોવાઈડર ક્યારેક ખૂબ મોંઘો હતો તેણે કદાચ ભાવ ઘટાડ્યા હોય. કોઈ સસ્તું અને મનપસંદ મોડેલ કદાચ ભાવ વધારી દીધા હોય. તમારા બેન્ચમાર્ક જૂના ભાવને બદલે લાઈવ ભાવ સાથે ફરીથી ચલાવો.
અંતે, તમારા આર્કિટેક્ચરના નિર્ણયોમાં કિંમતોને ધ્યાનમાં રાખો. જો તમે જાણતા હોવ કે કોઈ પ્રોવાઈડર વારંવાર રેટ બદલે છે, તો તમારી સિસ્ટમ એવી રીતે ડિઝાઇન કરો કે જેથી તમારે તમારા કોડબેઝનો અડધો ભાગ ફરીથી લખ્યા વગર એન્ડપોઇન્ટ્સ (endpoints) બદલી શકાય. ક્લાયન્ટને એક ઇન્ટરનલ ઇન્ટરફેસ પાછળ રાખો. મોડેલનું નામ કોન્ફિગરેશન ફાઇલમાં રાખો, તેને તમારા પ્રોમ્પ્ટ લેયરમાં હાર્ડ-કોડ (hard-coded) ન કરો.
વિશ્વસનીય અપડેટ્સ ક્યાંથી મેળવવી
પ્રોવાઈડરના બ્લોગ્સ અને ડોક્યુમેન્ટેશન એ સત્તાવાર સ્ત્રોત છે, પરંતુ વ્યસ્ત અઠવાડિયામાં તે ચૂકી જવાની શક્યતા રહે છે. એક વિકલ્પ એ છે કે એવા ક્યુરેટેડ રાઉન્ડઅપ્સ (curated roundups) ને ફોલો કરો જે સમગ્ર ઇકોસિસ્ટમમાં આ પ્રકારના ફેરફારોને ટ્રેક કરે છે. તાજેતરના Mancer 2, Novita, અને StreamLake ના ફેરફારોની સંપૂર્ણ વિગતો માટે, અહીં વિગતવાર સારાંશ તપાસો:
LLM પ્રાઇસિંગમાં ફેરફાર: Mancer 2, Novita, અને StreamLake
જો તમે અપડેટ્સથી માહિતગાર રહેવા માંગતા હોવ અને અન્ય બિલ્ડર્સ સાથે ચર્ચા કરવા માંગતા હોવ જેઓ તેમના AI ઇન્ફ્રાસ્ટ્રક્ચરના બિલને નિયંત્રણમાં રાખવાનો પ્રયાસ કરી રહ્યા છે, તો એક સમુદાય (community) પણ છે જેમાં જોડાવું ફાયદાકારક રહેશે:
અચાનક આવતા બિલ સામે શ્રેષ્ઠ બચાવ એ એવા લોકોનું નેટવર્ક છે જેઓ ફેરફારો થતાની સાથે જ તેની જાણ કરે છે.
મુખ્ય વાત
કિંમતોમાં થતી વધઘટ એ વર્તમાન LLM માર્કેટની એક વિશેષતા છે, કોઈ ખામી નથી. મોડેલ્સ ચલાવવા સસ્તા થતા જાય છે, પ્રોવાઈડર્સ રેટ સ્ટ્રક્ચર સાથે પ્રયોગો કરે છે, અને સ્પર્ધાને કારણે કિંમતોમાં ફેરફાર થાય છે. લાંબા ગાળે આ સારા સમાચાર છે, પરંતુ ફક્ત ત્યારે જ જો તમે ધ્યાન આપી રહ્યા હોવ. તમારા API ખર્ચને તમારા અપટાઇમ મેટ્રિક્સ (uptime metrics) ની જેમ જ સમજો: તેને માપો, તેના પર એલર્ટ સેટ કરો અને નિયમિતપણે તેની સમીક્ષા કરો. Mancer 2, Novita, અને StreamLake ના તાજેતરના ફેરફારો એ માત્ર એક યાદ અપાવવાનું કામ કરે છે કે તમારા AI સ્ટેક પરની કિંમત ક્યારેય ખરેખર સ્થિર હોતી નથી.