જ્યાં સુધી મેં મારો અભિગમ બદલ્યો નહીં ત્યાં સુધી મારી AI ઇન્ટિગ્રેશન કિંમત ખૂબ વધારે હતી
જ્યાં સુધી બિલ ન આવ્યું ત્યાં સુધી મને મારું AI સમરાઇઝેશન ફીચર ખૂબ ગમતું હતું.
ગયા મહિને, મેં લાંબા લેખોનો સારાંશ કરવા માટે એક ટૂલ બનાવ્યું. મેં એક સાદા પ્રોમ્પ્ટ સાથે GPT-4 નો ઉપયોગ કર્યો. તે બરાબર કામ કરતું હતું. વપરાશકર્તાઓને તેની ગુણવત્તા ખૂબ ગમી.
પછી બિલ આવ્યું. એક મહિનાના વપરાશનો ખર્ચ મને $1,200 થી વધુ પડ્યો. મારે કાં તો આ સુધારવું પડ્યું અથવા આ ફીચર બંધ કરવું પડ્યું.
તેને સુધારવા માટે મેં ઘણી વસ્તુઓ અજમાવી:
- મેં GPT-3.5-turbo પર સ્વિચ કર્યું. ખર્ચ ઘટ્યો, પરંતુ ગુણવત્તા ઘટી ગઈ. સારાંશ અસ્પષ્ટ બની ગયા.
- મેં prompt engineering અજમાવ્યું. "be specific" ઉમેરવાથી પૂરતી મદદ મળી નહીં.
- મેં extractive libraries નો ઉપયોગ કરીને ઇનપુટ સાઈઝ ઘટાડવાનો પ્રયાસ કર્યો. આનાથી મદદ મળી, પરંતુ ખર્ચ ઊંચો રહ્યો.
મને સમજાયું કે હું નાની ખીલી માટે મોટો હથોડો વાપરી રહ્યો હતો.
તેનો ઉકેલ બે-પગલાંની પાઇપલાઇન (pipeline) છે. શ્રેષ્ઠ પરિણામો મેળવવા માટે તમે બે અલગ-અલગ પદ્ધતિઓનું મિશ્રણ કરો છો.
Step 1: The Extractive Phase લેખમાંથી ટોચના 5 થી 10 વાક્યો પસંદ કરવા માટે TextRank જેવા સસ્તા અને ઝડપી ટૂલનો ઉપયોગ કરો. આનાથી વધારાના 90% ટેક્સ્ટ દૂર થઈ જાય છે.
Step 2: The Abstractive Phase માત્ર તે થોડા વાક્યો જ GPT-3.5-turbo જેવા નાના અને સસ્તા મોડેલને મોકલો. તેને તે વાક્યોને એક સ્વચ્છ 3-બુલેટ સારાંશમાં ફરીથી લખવા માટે કહો.
આ અભિગમથી મારો ખર્ચ 80% ઘટી ગયો. ગુણવત્તા GPT-4 ની નજીક જ રહી કારણ કે મોડેલે માત્ર સૌથી મહત્વપૂર્ણ ડેટા પર જ પ્રક્રિયા કરી હતી.
તમારા AI નિર્માણ માટે અન્ય ટિપ્સ:
- Caching નો ઉપયોગ કરો. લેખના hash દ્વારા પરિણામો સ્ટોર કરો જેથી તમારે એક જ સારાંશ માટે બે વાર ચૂકવણી ન કરવી પડે.
- Layers નો ઉપયોગ કરો. જટિલ કાર્યોને નાના, સસ્તા sub-tasks માં વિભાજિત કરો.
- Fallback સેટ કરો. જો લેખ ખૂબ જ જટિલ હોય, તો ફક્ત તે ચોક્કસ કિસ્સાઓ માટે જ GPT-4 જેવા ઉચ્ચ-ગુણવત્તાવાળા મોડેલનો ઉપયોગ કરો.
મોંઘા મોડેલોને ટેક્સ્ટના મોટા બ્લોક્સ મોકલવાનું બંધ કરો. પહેલા ડેટાને નાનો કરો.
તમે તમારા ઉત્પાદનોમાં AI ની ગુણવત્તા અને ખર્ચ વચ્ચે કેવી રીતે સંતુલન જાળવો છો? શું તમે વિવિધ કાર્યો માટે વિવિધ મોડેલોનો ઉપયોગ કરો છો?