મેં મારા OpenClaw કન્ફિગરેશનનું 48 કલાક સુધી સ્ટ્રેસ-ટેસ્ટિંગ કર્યું
મોટાભાગના લોકો પાંચ મિનિટ માટે OpenClaw ટેસ્ટ કરે છે. તેઓ થોડા મેસેજ મોકલે છે. જો તે કામ કરે છે, તો તેઓ તેને પ્રોડક્શન-રેડી (production-ready) માને છે.
મેં કંઈક અલગ કર્યું. મેં મારા એજન્ટને આખા વીકેન્ડ માટે ચાલુ રાખ્યો.
મને ત્રણ સાયલન્ટ ફેલ્યોર (silent failures) જોવા મળ્યા. તેનાથી સિસ્ટમ ક્રેશ નહોતી થઈ, પરંતુ તેના કારણે મારો સમય અને પૈસા બંનેનો વ્યય થયો.
અહીં શું તૂટ્યું અને મેં તેને કેવી રીતે સુધાર્યું તેની વિગતો છે.
- કોન્ટેક્સ્ટ ડિકે (Context Decay) 18 કલાક પછી, મોડેલના જવાબો ટૂંકા અને અધૂરા થવા લાગ્યા. તેમાં કોઈ એરર (error) નહોતી આવી, પરંતુ તે ફક્ત કોન્ટેક્સ્ટ સ્પેસ (context space) વગરનું થઈ ગયું હતું. સેશન હિસ્ટ્રી ખૂબ મોટી થઈ ગઈ હતી. જગ્યા બચાવવા માટે મોડેલે તેના શબ્દોનો ઉપયોગ મર્યાદિત કરવાનું શરૂ કરી દીધું હતું.
ઉકેલ: સેશન પર્જ પોલિસી (session purge policy) સેટ કરો.
- હિસ્ટ્રીને 50 મેસેજ સુધી મર્યાદિત કરો.
- દર 12 કલાકે સેશન રિસેટ કરો. આ મેન્યુઅલ કામ વગર કોન્ટેક્સ્ટને તાજું રાખે છે.
- ટાસ્ક બેકલોગ્સ (Task Backlogs) મેં દર 15 મિનિટે ટાસ્ક ચલાવવા માટે cron job નો ઉપયોગ કર્યો હતો. ક્યારેક ધીમા APIs ને કારણે કોઈ ટાસ્ક 15 મિનિટ કરતા વધુ સમય લેતો હતો. જ્યારે પહેલો ટાસ્ક હજુ ચાલુ હોય ત્યારે જ બીજો ટાસ્ક શરૂ થઈ જતો હતો. આના કારણે જોબ્સની એક વધતી જતી કતાર (queue) બની જતી હતી.
ઉકેલ: લોકફાઇલ (lockfile) સાથે મ્યુટેક્સ ગાર્ડ (mutex guard) ઉમેરો.
- તપાસો કે લોકફાઇલ અસ્તિત્વમાં છે કે નહીં.
- જો લોકફાઇલ 15 મિનિટથી ઓછી જૂની હોય, તો નવું રન સ્કીપ કરો.
- આનાથી ટાસ્ક એકઠા થતા અટકશે.
- અદ્રશ્ય ખર્ચ (Invisible Costs) જ્યારે મારું પ્રાઇમરી મોડેલ રેટ લિમિટ (rate limit) પર પહોંચ્યું, ત્યારે OpenClaw ફોલબેક મોડેલ (fallback model) પર સ્વિચ થઈ ગયું. ટાસ્ક સફળતાપૂર્વક પૂર્ણ થયો. જોકે, ફોલબેક મોડેલનો ખર્ચ પ્રતિ ટોકન 4 ગણો વધારે હતો. લોગ્સમાં બધું બરાબર દેખાતું હતું, પરંતુ મારો બજેટ ઝડપથી ખર્ચાઈ રહ્યો હતો.
ઉકેલ: સ્પષ્ટ કોસ્ટ ટ્રેકિંગ (cost tracking) ઉમેરો.
- દરેક રન પછી ટોકન વપરાશ અને ખર્ચનો લોગ રાખો.
- દર અઠવાડિયે મોડેલ દીઠ ખર્ચની સમીક્ષા કરો.
OpenClaw ત્યાં સુધી ભરોસાપાત્ર છે જ્યાં સુધી તે નથી રહેતું. નિષ્ફળતાઓ સામાન્ય રીતે ત્યારે થાય છે જ્યારે તમે ધ્યાન નથી આપતા.
મેં આ સમસ્યાઓ સુધારવામાં 2 કલાક વિતાવ્યા. 48 કલાકના ટેસ્ટમાં મારા 20 ડોલર ટોકન્સમાં વપરાયા. સિસ્ટમ કોઈ દેખરેખ વગર દિવસો સુધી ચાલે તે સુનિશ્ચિત કરવા માટે આ એક યોગ્ય વ્યવહાર છે.
જો તમે તમારા કન્ફિગરેશનનું ઓછામાં ઓછા એક આખા દિવસ માટે સ્ટ્રેસ-ટેસ્ટિંગ નથી કરતા, તો તમે પ્રોડક્શન માટે તૈયાર નથી.
Optional learning community: https://t.me/GyaanSetuAi