𝗔𝗴𝗲𝗻𝘁 𝗟𝗼𝗼𝗽 𝗖𝗼𝘀𝘁: 𝟭𝟭𝘅 𝗬𝗼𝘂𝗿 𝗣𝗲𝗿-𝗖𝗮𝗹𝗹 𝗤𝘂𝗼𝘁𝗲
મોટાભાગની ટીમો AI એજન્ટ્સ માટે બજેટ બનાવતી વખતે માત્ર એક સિંગલ કોલના ખર્ચને ધ્યાનમાં લે છે. તેઓ પ્રતિ મિલિયન ટોકન્સનો ભાવ જુએ છે અને એક એક્શનના ખર્ચનો અંદાજ લગાવે છે. આ અભિગમ ખોટો છે.
એજન્ટ લૂપનો ખર્ચ એક સિંગલ કોલ જેટલો નથી હોતો. તે ઘણો વધારે હોય છે.
તેનું કારણ સરળ છે. જ્યારે પણ એજન્ટ કોઈ ટૂલ કોલ કરે છે, ત્યારે તે આખો કોન્ટેક્સ્ટ (context) ફરીથી મોકલે છે. તમારે સિસ્ટમ પ્રોમ્પ્ટ માટે ફરીથી ચૂકવણી કરવી પડે છે. તમારે દરેક ટૂલ ડિસ્ક્રિપ્શન માટે ફરીથી ચૂકવણી કરવી પડે છે. તમારે વાતચીતના આખા ઇતિહાસ (history) માટે ફરીથી ચૂકવણી કરવી પડે છે.
જેમ જેમ લૂપ ચાલુ રહે છે, તેમ તેમ પેલોડ (payload) વધતો જાય છે. ખર્ચ ક્વોડ્રેટિકલી (quadratically) વધે છે. તમે માત્ર એક સિંગલ કોલ માટે ચૂકવણી નથી કરતા, પરંતુ વધતા જતા કર્વ (curve) નીચેના વિસ્તાર માટે ચૂકવણી કરો છો.
મેં આને માપવા માટે એક ટૂલ બનાવ્યું છે. તે loop_forecast.py નામની 40-લાઇનનું Python સ્ક્રિપ્ટ છે. તે ઓફલાઇન છે, કીલેસ (keyless) છે, અને તમારા JSONL ટ્રેસ (traces) વાંચે છે. તે તમારો કોડ શિપ કરતા પહેલા તમને વાસ્તવિક ખર્ચ જણાવે છે.
મારા ટેસ્ટ રન પર, પરિણામો સ્પષ્ટ હતા:
- પ્રતિ ઇન્વોકેશન (invocation) ક્વોટ કરેલ ખર્ચ: $0.20
- પ્રતિ ટાસ્ક માપવામાં આવેલ અસરકારક ખર્ચ: $2.26
- તફાવત: 11.29x
જો તમારું લૂપ ટૂંકું અને સરળ હોય, તો ટૂલ નાનો તફાવત બતાવશે. જો તમારું લૂપ ભારે (heavy) હોય, તો તે મોટો તફાવત બતાવશે. તમે આનો ઉપયોગ CI ગેટ તરીકે કરી શકો છો. જો ખર્ચનો તફાવત ખૂબ વધારે હોય, તો બિલ્ડ ફેઇલ થશે.
માત્ર એક ઇન્ફરન્સ (inference) ના આધારે બજેટ બનાવવાનું બંધ કરો. તમારો વાસ્તવિક આંકડો શોધવા માટે તમારા પોતાના ટ્રેસનો ઉપયોગ કરો.
મુખ્ય વિશેષતાઓ:
- નેટવર્ક એક્સેસ અથવા API કીની જરૂર નથી.
- સચોટ ગણતરી માટે
tiktokenનો ઉપયોગ કરે છે. - ખર્ચ કેવી રીતે વધે છે તે બતાવવા માટે કર્વચર મેટ્રિક (curvature metric - k) પ્રદાન કરે છે.
- વિશ્વસનીય CI/CD માટે ડિટરમિનિસ્ટિક (deterministic) આઉટપુટ.
ભૂલ યુનિટની ગેરસમજમાં છે. એક ટાસ્ક એટલે એક કોલ નથી. એક ટાસ્ક એટલે N કોલ્સ છે, જેમાં દરેક સાથે વધતો જતો ટેક્સ (tax) લાગે છે.
સ્ત્રોત: https://dev.to/alex_spinov/agent-loop-cost-11x-your-per-call-quote-in-40-lines-5dfn
વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi