ਮੈਂ ਆਪਣੀ OpenClaw config ਦਾ 48 ਘੰਟਿਆਂ ਲਈ ਸਟ੍ਰੈੱਸ-ਟੈਸਟ ਕੀਤਾ
ਜ਼ਿਆਦਾਤਰ ਲੋਕ OpenClaw ਨੂੰ ਪੰਜ ਮਿੰਟਾਂ ਲਈ ਟੈਸਟ ਕਰਦੇ ਹਨ। ਉਹ ਕੁਝ ਸੁਨੇਹੇ ਭੇਜਦੇ ਹਨ। ਜੇਕਰ ਇਹ ਕੰਮ ਕਰਦਾ ਹੈ, ਤਾਂ ਉਹ ਇਸਨੂੰ production-ready ਕਹਿ ਦਿੰਦੇ ਹਨ।
ਮੈਂ ਕੁਝ ਵੱਖਰਾ ਕੀਤਾ। ਮੈਂ ਆਪਣੇ ਏਜੰਟ (agent) ਨੂੰ ਪੂਰੇ ਵੀਕੈਂਡ ਲਈ ਚੱਲਦਾ ਰਹਿਣ ਦਿੱਤਾ।
ਮੈਨੂੰ ਤਿੰਨ ਚੁੱਪਚਾਪ ਹੋਣ ਵਾਲੀਆਂ ਅਸਫਲਤਾਵਾਂ (silent failures) ਮਿਲੀਆਂ। ਉਹਨਾਂ ਨੇ ਸਿਸਟਮ ਨੂੰ ਕ੍ਰੈਸ਼ ਨਹੀਂ ਕੀਤਾ। ਉਹਨਾਂ ਨੇ ਸਿਰਫ ਮੇਰਾ ਪੈਸਾ ਅਤੇ ਸਮਾਂ ਬਰਬਾਦ ਕੀਤਾ।
ਇੱਥੇ ਦੱਸਿਆ ਗਿਆ ਹੈ ਕਿ ਕੀ ਖਰਾਬ ਹੋਇਆ ਅਤੇ ਮੈਂ ਇਸਨੂੰ ਕਿਵੇਂ ਠੀਕ ਕੀਤਾ।
- Context Decay 18 ਘੰਟਿਆਂ ਬਾਅਦ, ਮਾਡਲ ਦੇ ਜਵਾਬ ਬਹੁਤ ਘੱਟ ਅਤੇ ਛੋਟੇ ਹੋ ਗਏ। ਇਸ ਵਿੱਚ ਕੋਈ ਐਰਰ (error) ਨਹੀਂ ਆਇਆ। ਬਸ, ਇਸਦਾ context space ਖਤਮ ਹੋ ਗਿਆ ਸੀ। ਸੈਸ਼ਨ ਦੀ ਹਿਸਟਰੀ ਬਹੁਤ ਵੱਡੀ ਹੋ ਗਈ ਸੀ। ਸਪੇਸ ਬਚਾਉਣ ਲਈ ਮਾਡਲ ਨੇ ਆਪਣੇ ਸ਼ਬਦਾਂ ਦੀ ਵਰਤੋਂ ਬਹੁਤ ਘੱਟ ਕਰਨੀ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤੀ।
ਇਸਦਾ ਹੱਲ: ਇੱਕ session purge policy ਸੈੱਟ ਕਰੋ।
- ਹਿਸਟਰੀ ਨੂੰ 50 ਸੁਨੇਹਿਆਂ ਤੱਕ ਸੀਮਤ ਰੱਖੋ।
- ਹਰ 12 ਘੰਟਿਆਂ ਬਾਅਦ ਸੈਸ਼ਨ ਨੂੰ ਰੀਸੈੱਟ ਕਰੋ। ਇਹ ਬਿਨਾਂ ਕਿਸੇ ਮੈਨੂਅਲ ਕੰਮ ਦੇ context ਨੂੰ ਤਾਜ਼ਾ ਰੱਖਦਾ ਹੈ।
- Task Backlogs ਮੈਂ ਹਰ 15 ਮਿੰਟਾਂ ਵਿੱਚ ਟਾਸਕ ਚਲਾਉਣ ਲਈ ਇੱਕ cron job ਦੀ ਵਰਤੋਂ ਕੀਤੀ। ਕਦੇ-ਕਦੇ ਸਲੋਅ (slow) APIs ਦੇ ਕਾਰਨ ਇੱਕ ਟਾਸਕ ਨੂੰ 15 ਮਿੰਟਾਂ ਤੋਂ ਵੱਧ ਸਮਾਂ ਲੱਗ ਜਾਂਦਾ ਸੀ। ਜਦੋਂ ਪਹਿਲਾ ਟਾਸਕ ਅਜੇ ਚੱਲ ਰਿਹਾ ਹੁੰਦਾ ਸੀ, ਤਾਂ ਅਗਲਾ ਟਾਸਕ ਸ਼ੁਰੂ ਹੋ ਜਾਂਦਾ ਸੀ। ਇਸ ਨਾਲ ਕੰਮਾਂ ਦੀ ਇੱਕ ਲਗਾਤਾਰ ਵਧਦੀ ਕਤਾਰ (queue) ਬਣ ਗਈ।
ਇਸਦਾ ਹੱਲ: ਇੱਕ lockfile ਦੇ ਨਾਲ mutex guard ਜੋੜੋ।
- ਚੈੱਕ ਕਰੋ ਕਿ ਕੀ lockfile ਮੌਜੂਦ ਹੈ।
- ਜੇਕਰ lockfile 15 ਮਿੰਟਾਂ ਤੋਂ ਘੱਟ ਪੁਰਾਣੀ ਹੈ, ਤਾਂ ਨਵੇਂ ਰਨ (run) ਨੂੰ ਛੱਡ ਦਿਓ।
- ਇਹ ਟਾਸਕਾਂ ਨੂੰ ਇਕੱਠਾ ਹੋਣ ਤੋਂ ਰੋਕਦਾ ਹੈ।
- Invisible Costs ਜਦੋਂ ਮੇਰੇ ਪ੍ਰਾਇਮਰੀ ਮਾਡਲ ਨੇ rate limit ਨੂੰ ਛੂਹ ਲਿਆ, ਤਾਂ OpenClaw ਇੱਕ fallback ਮਾਡਲ 'ਤੇ ਚਲਾ ਗਿਆ। ਟਾਸਕ ਸਫਲਤਾਪੂਰਵਕ ਪੂਰਾ ਹੋ ਗਿਆ। ਹਾਲਾਂਕਿ, fallback ਮਾਡਲ ਦੀ ਲਾਗਤ ਪ੍ਰਤੀ token 4 ਗੁਣਾ ਜ਼ਿਆਦਾ ਸੀ। ਲੌਗਸ (logs) ਕਹਿ ਰਹੇ ਸਨ ਕਿ ਸਭ ਕੁਝ ਠੀਕ ਹੈ, ਪਰ ਮੇਰਾ ਬਜਟ ਤੇਜ਼ੀ ਨਾਲ ਖਤਮ ਹੋ ਰਿਹਾ ਸੀ।
ਇਸਦਾ ਹੱਲ: ਸਪੱਸ਼ਟ cost tracking ਜੋੜੋ।
- ਹਰ ਰਨ ਤੋਂ ਬਾਅਦ token ਦੀ ਵਰਤੋਂ ਅਤੇ ਲਾਗਤ ਨੂੰ log ਕਰੋ।
- ਹਰ ਹਫ਼ਤੇ ਮਾਡਲ ਅਨੁਸਾਰ ਲਾਗਤਾਂ ਦੀ ਸਮੀਖਿਆ ਕਰੋ।
OpenClaw ਉਦੋਂ ਤੱਕ ਭਰੋਸੇਯੋਗ ਹੈ ਜਦੋਂ ਤੱਕ ਇਹ ਭਰੋਸੇਯੋਗ ਨਹੀਂ ਰਹਿੰਦਾ। ਅਸਫਲਤਾਵਾਂ ਆਮ ਤੌਰ 'ਤੇ ਉਦੋਂ ਹੁੰਦੀਆਂ ਹਨ ਜਦੋਂ ਤੁਸੀਂ ਦੇਖ ਨਹੀਂ ਰਹੇ ਹੁੰਦੇ।
ਮੈਂ ਇਹਨਾਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਠੀਕ ਕਰਨ ਵਿੱਚ 2 ਘੰਟੇ ਲਗਾਏ। 48-ਘੰਟੇ ਦੇ ਟੈਸਟ ਦੀ ਮੈਨੂੰ tokens ਦੇ ਰੂਪ ਵਿੱਚ 20 ਡਾਲਰ ਦੀ ਲਾਗਤ ਆਈ। ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਇੱਕ ਵਾਜਬ ਸੌਦਾ ਹੈ ਕਿ ਮੇਰਾ ਸਿਸਟਮ ਬਿਨਾਂ ਕਿਸੇ ਨਿਗਰਾਨੀ ਦੇ ਕਈ ਦਿਨਾਂ ਤੱਕ ਚੱਲਦਾ ਰਹੇ।
ਜੇਕਰ ਤੁਸੀਂ ਆਪਣੀ config ਦਾ ਘੱਟੋ-ਘੱਟ ਇੱਕ ਪੂਰਾ ਦਿਨ ਸਟ੍ਰੈੱਸ-ਟੈਸਟ ਨਹੀਂ ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ production ਲਈ ਤਿਆਰ ਨਹੀਂ ਹੋ।
Optional learning community: https://t.me/GyaanSetuAi