मैंने अपने OpenClaw कॉन्फ़िगरेशन का 48 घंटों तक स्ट्रेस-टेस्ट किया
ज़्यादातर लोग OpenClaw का केवल पाँच मिनट तक परीक्षण करते हैं। वे कुछ संदेश भेजते हैं। यदि यह काम करता है, तो वे इसे प्रोडक्शन-रेडी (production-ready) मान लेते हैं।
मैंने कुछ अलग किया। मैंने अपने एजेंट को पूरे वीकेंड तक चलता रहने दिया।
मुझे तीन साइलेंट फेलियर्स (silent failures) मिले। उन्होंने सिस्टम को क्रैश नहीं किया, लेकिन उनसे मेरा पैसा और समय दोनों बर्बाद हुए।
यहाँ बताया गया है कि क्या खराब हुआ और मैंने इसे कैसे ठीक किया।
- कॉन्टेक्स्ट डिके (Context Decay) 18 घंटों के बाद, मॉडल के जवाब संक्षिप्त और छोटे होने लगे। इसमें कोई एरर नहीं आया, बस कॉन्टेक्स्ट स्पेस (context space) खत्म हो गया। सेशन हिस्ट्री बहुत बड़ी हो गई थी। स्पेस बचाने के लिए मॉडल शब्दों के मामले में किफायती होने लगा।
समाधान: एक सेशन पर्ज पॉलिसी (session purge policy) सेट करें।
- हिस्ट्री को 50 संदेशों तक सीमित करें।
- हर 12 घंटे में सेशन रीसेट करें। इससे बिना किसी मैन्युअल काम के कॉन्टेक्स्ट फ्रेश रहता है।
- टास्क बैकलॉग (Task Backlogs) मैं हर 15 मिनट में टास्क चलाने के लिए एक cron job का उपयोग करता था। कभी-कभी स्लो APIs के कारण एक टास्क को 15 मिनट से अधिक समय लग जाता था। जब तक पहला टास्क चल रहा होता, अगला टास्क शुरू हो जाता था। इससे जॉब्स की एक बढ़ती हुई कतार (queue) बन गई।
समाधान: एक लॉकफ़ाइल (lockfile) के साथ म्यूटेक्स गार्ड (mutex guard) जोड़ें।
- चेक करें कि क्या कोई लॉकफ़ाइल मौजूद है।
- यदि लॉकफ़ाइल 15 मिनट से कम पुरानी है, तो नए रन को छोड़ दें।
- यह टास्क को इकट्ठा होने से रोकता है।
- अदृश्य लागत (Invisible Costs) जब मेरे प्राइमरी मॉडल ने रेट लिमिट (rate limit) पार की, तो OpenClaw ने फॉलबैक मॉडल (fallback model) पर स्विच कर दिया। टास्क सफलतापूर्वक पूरा हो गया। हालाँकि, फॉलबैक मॉडल की लागत प्रति टोकन 4 गुना अधिक थी। लॉग्स में सब कुछ ठीक दिख रहा था, लेकिन मेरा बजट तेज़ी से खत्म हो रहा था।
समाधान: स्पष्ट लागत ट्रैकिंग (cost tracking) जोड़ें।
- हर रन के बाद टोकन उपयोग और लागत को लॉग करें।
- हर हफ्ते प्रति मॉडल लागत की समीक्षा करें।
OpenClaw तब तक भरोसेमंद है जब तक कि वह न हो जाए। विफलताएं आमतौर पर तब होती हैं जब आप देख नहीं रहे होते हैं।
मैंने इन समस्याओं को ठीक करने में 2 घंटे बिताए। 48 घंटे के टेस्ट की लागत मुझे टोकन के रूप में 20 डॉलर पड़ी। बिना निगरानी के अपने सिस्टम को कई दिनों तक चलाने के लिए यह एक उचित सौदा है।
यदि आप अपने कॉन्फ़िगरेशन का कम से कम एक पूरे दिन तक स्ट्रेस-टेस्ट नहीं करते हैं, तो आप प्रोडक्शन के लिए तैयार नहीं हैं।
Optional learning community: https://t.me/GyaanSetuAi