𝗔𝗜 એજન્ટનો ખર્ચ એ રનટાઇમ સિગ્નલ છે
AI એજન્ટના ખર્ચને માસિક યુટિલિટી બિલની જેમ ગણવાનું બંધ કરો.
માસિક ઇન્વોઇસ એ નાણાકીય ડેટા છે. તે તમને જણાવે છે કે પૈસા ખર્ચાઈ ગયા પછી તમે કેટલો ખર્ચ કર્યો છે. એજન્ટના વર્તનની જવાબદારી એન્જિનિયરિંગની છે. જો તમે ખર્ચ પર નિયંત્રણ રાખવા માંગતા હોવ, તો તમારે ખર્ચને રનટાઇમ સિગ્નલ તરીકે ગણવો જોઈએ.
AI એજન્ટ ફ્લેટ સર્વિસની જેમ પૈસા ખર્ચતો નથી. તે આ રીતે પૈસા ખર્ચ કરે છે:
- ચોક્કસ કાર્યો માટે મોડલની પસંદગી.
- ભૂતકાળના કામમાંથી કોન્ટેક્સ્ટ મેનેજમેન્ટ.
- ટૂલ કોલ્સ અને સબ-એજન્ટ લૂપ્સ.
- રિટ્રાય સાયકલ અને પુનઃમૂલ્યાંકન.
એક જ મોંઘો કાર્ય માસિક બજેટ બગાડી શકે છે. એક સાદું કલાક દીઠ મર્યાદા (hourly cap) સસ્તા અને મૂલ્યવાન કાર્યને પૂર્ણ થતા અટકાવી શકે છે. તમે સ્પ્રેડશીટ દ્વારા આનું સંચાલન કરી શકતા નથી.
તમારે ખર્ચ નિયંત્રણને harness માં લાવવું જોઈએ.
harness એ એવી જગ્યા છે જ્યાં તમે મોડલ રૂટ્સ, રિટ્રાય અને ટૂલના ઉપયોગ પર નિયંત્રણ રાખી શકો છો. ખર્ચની નીતિ અહીં હોવી જોઈએ કારણ કે harness ખર્ચના આર્કિટેક્ચરને સમજે છે.
ફક્ત ટોકન કાઉન્ટ પર ધ્યાન કેન્દ્રિત કરવાનું બંધ કરો. જો જવાબ ખોટો હોય તો ટોકન ઘટાડવા વ્યર્થ છે. તેના બદલે પરિણામ દીઠ ખર્ચ (cost per outcome) પર ધ્યાન આપો. • દરેક મર્જ થયેલ pull request દીઠ ખર્ચ. • દરેક ઉકેલવામાં આવેલ સપોર્ટ ટિકિટ દીઠ ખર્ચ. • દરેક સફળ વર્કફ્લો દીઠ ખર્ચ.
સમસ્યા સુધારે છે તેવો પાંચ ડોલરનો વર્કફ્લો, મનુષ્યો માટે નકામું કામ ઊભું કરતા પચાસ સેન્ટના વર્કફ્લો કરતા વધુ સારો છે.
અસરકારક ખર્ચ નિયંત્રણ એ રિલાયબિલિટી (reliability) ના કામ જેવું છે. તેમાં સમાન માલિકો, સમાન ટ્રેસ (traces) અને સમાન શિસ્તની જરૂર હોય છે.
ઇન્વોઇસની રાહ ન જુઓ. તમારા ટ્રેસ અને ઇવેલ્યુએશનની સાથે ખર્ચનો ડેટા રાખો. મોંઘા ટ્રેસને ડોલર ચિહ્ન સાથેના બગ રિપોર્ટ તરીકે ગણો.
જો તમે ખર્ચ પર નિયંત્રણ રાખવા માંગતા હોવ, તો રનટાઇમ પર નિયંત્રણ રાખો.
Source: https://dev.to/focused_dot_io/ai-agent-cost-is-a-runtime-signal-focused-labs-5772
Optional learning community: https://t.me/GyaanSetuAi