અમે અમારા દસ-એજન્ટ AI ફ્લીટ પર $100 ની ક્રેડિટ લિમિટ સેટ કરી અને તે જ દિવસે થ્રોટલ (throttle) સક્રિય થઈ ગયું, જેના કારણે અમે લિમિટ વધાર્યા ત્યાં સુધી દરેક નવા કાર્યને અટકાવી દેવામાં આવ્યું. આ ઘટના દર્શાવે છે કે જ્યારે બજેટનું ઉલ્લંઘન થયું ત્યારે કંટ્રોલ લૂપ તરત જ કાર્યરત થઈ ગયું.

AI ફ્લીટ માટે ક્રેડિટ લિમિટ શા માટે મહત્વની છે

એક સિંગલ સર્વર પર દસ સ્વાયત્ત (autonomous) એજન્ટ્સ ચલાવવાથી API કોલ્સનો સતત પ્રવાહ પેદા થાય છે, જેમાંથી દરેકના બિલિંગ માટે તેઓ જે ટોકન વાપરે છે તેનો ઉપયોગ થાય છે. પરંપરાગત લોગ્સ એજન્ટોએ શું કર્યું—ક્વેરીઝ, પ્રતિસાદો, ટાઈમસ્ટેમ્પ્સ—તેને કેપ્ચર કરે છે, પરંતુ તે એવા કાર્યોની કિંમત કેટલી છે તે વિશે કંઈ જ કહેતા નથી. જ્યારે ફ્લીટનું સ્કેલિંગ વધે છે, ત્યારે તે અદ્રશ્ય બિલ વિસ્ફોટક રીતે વધી શકે છે, અને કોઈને ખબર પડે તે પહેલાં જ બજેટ ખતમ કરી શકે છે.

લોગ્સને લેજર (ledger) માં રૂપાંતરિત કરવા

અમારું પહેલું પગલું લોગ્સને માત્ર સાદા ટેક્સ્ટ તરીકે જોવાને બદલે તેને નાણાકીય લેજર તરીકે ગણવાનું હતું. એજન્ટનું દરેક ચક્ર—task → taking → done—હવે ત્રણ જર્નલ એન્ટ્રીઓ બનાવે છે:

  • Money (નાણાં) – વિનંતીના ટોકન કાઉન્ટ પરથી મેળવેલ એક અંદાજિત USD મૂલ્ય.
  • Promises (વચનો) – ખુલ્લા કાર્યો જે ચાલુ જવાબદારી (liability) દર્શાવે છે, એટલે કે એવું કામ જે પૂર્ણ થયા પછી બિલ કરવામાં આવશે.
  • Labour (શ્રમ) – એજન્ટ દ્વારા કરવામાં આવેલા વાસ્તવિક કાર્ય એકમો (work units).

લોગ ફાઇલમાં “error” શોધવાને બદલે, હવે અમે સાચી નાણાકીય ક્વેરી ચલાવી શકીએ છીએ: “એવા તમામ વચનો બતાવો જેની કુલ રકમ $100 થી વધુ હોય.” આ લેજર છુપાયેલા ખર્ચને દૃશ્યમાન અને સર્ચ કરી શકાય તેવો બનાવે છે.

ક્લોઝ્ડ-લૂપ કંટ્રોલ સિસ્ટમ

ક્રેડિટ-લિમિટ મિકેનિઝમ સતત ચાલતા ચાર-પગલાંના લૂપને અનુસરે છે:

  1. Measure (માપવું) – એજન્ટનું દરેક ટર્ન ખર્ચના લોગમાં એક લાઇન ઉમેરે છે, જેમાં ટોકન વપરાશ અને મેળવેલ ડોલરની રકમ નોંધવામાં આવે છે.
  2. Price (કિંમત નક્કી કરવી) – સિસ્ટમ વર્તમાન દરનો ઉપયોગ કરીને ટોકન કાઉન્ટને USD માં રૂપાંતરિત કરે છે.
  3. Alert (ચેતવણી) – એક મોનિટર રોલિંગ બજેટ પર નજર રાખે છે. તેની સ્થિતિ none (કોઈ ચેતવણી નહીં) થી warn (લિમિટની નજીક) અને પછી cap (લિમિટ વટાવી ગઈ) માં બદલાય છે.
  4. Throttle (નિયંત્રણ કરવું) – જ્યારે કેપ (cap) સક્રિય હોય ત્યારે ગેટ વર્તમાન સ્થિતિ વાંચે છે અને કોઈપણ નવા કાર્યના ડિસ્પેચને અટકાવે છે.

બજેટ વિન્ડો એ પાંચ કલાકનો રોલિંગ સમયગાળો છે, જેનો અર્થ છે કે સિસ્ટમ હંમેશા છેલ્લા પાંચ કલાકના ખર્ચને જુએ છે, કોઈ નિશ્ચિત કેલેન્ડર બ્લોકને નહીં. આનાથી લૂપ પ્રવૃત્તિના અચાનક વધારા (bursts) સામે પ્રતિભાવશીલ રહે છે અને કોઈ એક ઉછાળો ફ્લીટને અનિશ્ચિત સમય માટે લોક થતા અટકાવે છે.

માત્ર ખર્ચ દર્શાવતું ડેશબોર્ડ એક વાર્તા કહે છે; પરંતુ તે નંબર વાંચીને ડિસ્પેચ અટકાવતું થ્રોટલ એ સાચું નિયંત્રણ છે.

ડિઝાઈન દ્વારા સ્થિતિસ્થાપકતા (Resilience)

ખર્ચ-નિયંત્રણ સિસ્ટમ જે 'સિંગલ પોઈન્ટ ઓફ ફેઈલ્યોર' (single point of failure) બની જાય તે નુકસાનકારક સાબિત થશે. અમે ત્રણ સુરક્ષા કવચ બનાવ્યા છે:

  • Fails open – જો બજેટ ટૂલ ક્રેશ થાય, તો એજન્ટો ચાલતા રહેશે. ખર્ચ અનિયંત્રિત થઈ શકે છે, પરંતુ ફ્લીટ કાર્યરત રહેશે.
  • Manual bypass – ઓપરેટરો પ્રાયોરિટી ચેનલ દ્વારા થ્રોટલને ઓવરરાઈડ કરી શકે છે, જેથી લિમિટ વટાવી ગયા પછી પણ મહત્વપૂર્ણ કાર્યો આગળ વધી શકે.
  • Auto-resume – જેમ જેમ રોલિંગ વિન્ડો આગળ વધે છે, તેમ તેમ જૂનો ખર્ચ ગણતરીમાંથી નીકળી જાય છે. એકવાર કુલ રકમ લિમિટથી નીચે જાય, પછી માનવીય હસ્તક્ષેપ વિના ગેટ આપમેળે ફરીથી ખુલી જાય છે.

પરીક્ષણ: $100 ની લિમિટ વિરુદ્ધ $156 નો હાલનો ખર્ચ

અમે $100 ની લિમિટ સાથે સિસ્ટમ શરૂ કરી હતી, જ્યારે ફ્લીટની તાજેતરની પ્રવૃત્તિમાં પહેલેથી જ $156 નો ખર્ચ થઈ ચૂક્યો હતો. થ્રોટલ તરત જ સક્રિય થઈ ગયું અને તમામ નવા કાર્યો અટકાવી દીધા. જ્યારે અમે લિમિટ વધારીને $200 કરી, ત્યારે ગેટ ફરીથી ખુલી ગયો અને વધુ કોઈ મેન્યુઅલ સ્ટેપ્સ વગર કામ ફરી શરૂ થઈ ગયું.

આ પ્રયોગે બે બાબતોની પુષ્ટિ કરી:

  1. કંટ્રોલ લૂપ રીઅલ-ટાઇમમાં પ્રતિક્રિયા આપે છે; બજેટના ઉલ્લંઘનની જાણકારી મળવા અને તેના અમલીકરણ વચ્ચે કોઈ વિલંબ થતો નથી.
  2. ઓપરેટરો તરત જ લિમિટમાં ફેરફાર કરી શકે છે, જે ઓછા મહત્વના કાર્યો માટે બિનજરૂરી ડાઉનટાઇમ અટકાવે છે.

મુખ્ય વાત (Takeaway): એજન્ટ લોગ્સને નાણાકીય લેજર તરીકે ગણવા અને ડિસ્પેચ પાઇપલાઇનમાં રોલિંગ-બજેટ થ્રોટલ જોડવાથી તમને વધુ પડતા ખર્ચ સામે તાત્કાલિક અને અમલી બનાવી શકાય તેવું રક્ષણ મળે છે. તે એક સસ્તું અને સ્થિતિસ્થાપક નિયંત્રણ છે જે આજે કામ કરે છે; વધુ જટિલ નીતિઓ પછીથી ઉમેરી શકાય છે, પરંતુ કોઈપણ AI-એજન્ટ ફ્લીટ માટે મૂળભૂત લૂપ એ પ્રથમ સુરક્ષા રેખા હોવી જોઈએ.