મેં મારા AI ફીચરને મારું ખિસ્સું ખાલી કરતા કેવી રીતે રોક્યું
મેં મારા સાઇડ પ્રોજેક્ટમાં એક AI ચેટબોટ ઉમેર્યો. મને લાગ્યું કે તે સરળ હશે.
હું ખોટો હતો.
બે અઠવાડિયા પછી, મારું OpenAI બિલ એક અઠવાડિયા માટે જ $87 સુધી પહોંચી ગયું. મારી પાસે માત્ર 50 યુઝર્સ હતા. હું એક શોખના પ્રોજેક્ટમાં પૈસા ગુમાવી રહ્યો હતો.
મેં ખર્ચ ઘટાડવા માટે ઘણા રસ્તાઓ અજમાવ્યા. કેટલાક નિષ્ફળ રહ્યા.
- Rate limiting: મેં રિક્વેસ્ટ્સ પર મર્યાદા મૂકી. યુઝર્સને તે ગમ્યું નહીં અને તેઓ જતા રહ્યા.
- Truncating context: ટોકન્સ બચાવવા માટે મેં ડેટા કાપી નાખ્યો. જવાબો ખોટા આવવા લાગ્યા.
- Simple caching: મેં સચોટ પ્રશ્નોને કેશ (cache) કર્યા. યુઝર્સ ભાગ્યે જ બે વાર એક સમાન પ્રશ્ન પૂછે છે, તેથી આ નિષ્ફળ ગયું.
મને સમજાયું કે સમસ્યા બિનજરૂરી કામની હતી. LLM વારંવાર એ જ વિચારો પર ફરીથી પ્રોસેસિંગ કરી રહ્યું હતું.
મેં ત્રણ સ્ટેપ્સ દ્વારા તેને ઠીક કર્યું:
Semantic Caching મેં સચોટ શબ્દોના મેચ શોધવાનું બંધ કર્યું. મેં સમાન પ્રશ્નો શોધવા માટે embeddings નો ઉપયોગ કરવાનું શરૂ કર્યું. જો નવો પ્રશ્ન જૂના પ્રશ્ન સાથે 92% સમાન હોય, તો હું કેશ કરેલો જવાબ આપું છું. આ હિટ રેટ 40% સુધી પહોંચ્યો અને મારો ખર્ચ અડધો થઈ ગયો.
Smart Model Routing મેં દરેક વસ્તુ માટે GPT-4 નો ઉપયોગ કરવાનું બંધ કર્યું. મેં એક રાઉટર બનાવ્યું. જો પ્રશ્ન ટૂંકો અને સરળ હોય, તો હું સસ્તા પ્રોવાઈડરનો ઉપયોગ કરું છું. જો પ્રશ્ન જટિલ હોય, તો હું તેને પ્રીમિયમ મોડેલ પર મોકલું છું. મોટાભાગના પ્રશ્નો માટે હાઈ-એન્ડ મોડેલની જરૂર પડતી નથી.
Prompt Trimming મેં મોડેલને મોકલવામાં આવતા કોન્ટેક્સ્ટ (context) ના પ્રમાણમાં ઘટાડો કર્યો. મેં માત્ર સૌથી સુસંગત ડેટા ચંક્સ પસંદ કરીને કોન્ટેક્સ્ટ સાઈઝમાં 60% ઘટાડો કર્યો.
પરિણામો:
- સાપ્તાહિક ખર્ચ $40 થી ઘટીને $7 થઈ ગયો.
- કેશને કારણે રિસ્પોન્સ ટાઈમ ઝડપી બન્યો.
- યુઝર સંતોષ ઊંચો રહ્યો.
શીખવા મળેલા પાઠ:
- પહેલા દિવસથી જ semantic cache બનાવો.
- તમારા ક્લાઉડ એકાઉન્ટ પર તરત જ કોસ્ટ એલર્ટ્સ સેટ કરો.
- સાદા FAQ કાર્યો માટે મોંઘા મોડેલ્સનો ઉપયોગ કરશો નહીં.
AI ઉમેરવું એ માત્ર પ્રોમ્પ્ટ્સ વિશે નથી. તે અર્થશાસ્ત્ર (economics) વિશે છે. દરેક API કોલ માટે વાસ્તવિક પૈસા ખર્ચાય છે. જો તમે કાર્યક્ષમતા માટે ડિઝાઇન નહીં કરો, તો તમારો પ્રોજેક્ટ નિષ્ફળ જશે.
તમે તમારા AI ખર્ચનું સંચાલન કેવી રીતે કરો છો?
Source: https://dev.to/__c1b9e06dc90a7e0a676b/how-i-stopped-my-ai-feature-from-draining-my-wallet-20il