ਅਸੀਂ ਆਪਣੇ ਦਸ-ਏਜੰਟ AI ਫਲੀਟ 'ਤੇ $100 ਦੀ ਕ੍ਰੈਡਿਟ ਸੀਮਾ ਨਿਰਧਾਰਤ ਕੀਤੀ ਅਤੇ ਉਸੇ ਦਿਨ ਥਰੋਟਲ (throttle) ਲਾਗੂ ਹੋ ਗਿਆ, ਜਿਸ ਨੇ ਹਰ ਨਵੇਂ ਕੰਮ ਨੂੰ ਉਦੋਂ ਤੱਕ ਰੋਕ ਦਿੱਤਾ ਜਦੋਂ ਤੱਕ ਅਸੀਂ ਸੀਮਾ ਨਹੀਂ ਵਧਾਈ। ਇਹ ਘਟਨਾ ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ ਜਦੋਂ ਬਜਟ ਦੀ ਉਲੰਘਣਾ ਹੋਈ ਤਾਂ ਕੰਟਰੋਲ ਲੂਪ ਤੁਰੰਤ ਸਰਗਰਮ ਹੋ ਗਿਆ।
AI ਫਲੀਟਾਂ ਲਈ ਕ੍ਰੈਡਿਟ ਸੀਮਾ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ
ਇੱਕ ਸਿੰਗਲ ਸਰਵਰ 'ਤੇ ਦਸ ਆਟੋਨੋਮਸ ਏਜੰਟਾਂ ਨੂੰ ਚਲਾਉਣ ਨਾਲ API ਕਾਲਾਂ ਦੀ ਇੱਕ ਲਗਾਤਾਰ ਲੜੀ ਬਣਦੀ ਹੈ, ਜਿਸ ਵਿੱਚੋਂ ਹਰ ਇੱਕ ਦੀ ਬਿਲਿੰਗ ਉਹਨਾਂ ਟੋਕਨਾਂ ਦੇ ਅਧਾਰ 'ਤੇ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਜੋ ਉਹ ਵਰਤਦੇ ਹਨ। ਰਵਾਇਤੀ ਲੌਗਸ (logs) ਇਹ ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ ਏਜੰਟਾਂ ਨੇ ਕੀ ਕੀਤਾ—ਕੁਐਰੀਆਂ, ਜਵਾਬ, ਟਾਈਮਸਟੈਂਪਸ—ਪਰ ਉਹ ਇਹ ਨਹੀਂ ਦੱਸਦੇ ਕਿ ਉਹਨਾਂ ਕਾਰਵਾਈਆਂ ਦੀ ਕੀਮਤ ਕਿੰਨੀ ਸੀ। ਜਦੋਂ ਇੱਕ ਫਲੀਟ ਦਾ ਪੈਮਾਨਾ ਵਧਦਾ ਹੈ, ਤਾਂ ਉਹ ਅਦਿੱਖ ਬਿੱਲ ਬਹੁਤ ਜ਼ਿਆਦਾ ਵਧ ਸਕਦਾ ਹੈ, ਜੋ ਕਿਸੇ ਦੇ ਨੋਟਿਸ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਬਜਟ ਖਤਮ ਕਰ ਸਕਦਾ ਹੈ।
ਲੌਗਸ ਨੂੰ ਲੈਜਰ ਵਿੱਚ ਬਦਲਣਾ
ਸਾਡਾ ਪਹਿਲਾ ਕਦਮ ਲੌਗਸ ਨੂੰ ਸਿਰਫ਼ ਸਾਧਾਰਨ ਟੈਕਸਟ ਵਜੋਂ ਦੇਖਣਾ ਬੰਦ ਕਰਨਾ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਇੱਕ ਵਿੱਤੀ ਲੈਜਰ ਵਜੋਂ ਮੰਨਣਾ ਸੀ। ਹਰ ਏਜੰਟ ਚੱਕਰ—task → taking → done—ਹੁਣ ਤਿੰਨ ਜਰਨਲ ਐਂਟਰੀਆਂ ਪੈਦਾ ਕਰਦਾ ਹੈ:
- Money – ਰਿਕਵੈਸਟ ਦੇ ਟੋਕਨ ਕਾਊਂਟ ਤੋਂ ਪ੍ਰਾਪਤ ਕੀਤੀ ਗਈ ਇੱਕ ਅਨੁਮਾਨਿਤ USD ਕੀਮਤ।
- Promises – ਖੁੱਲ੍ਹੇ ਹੋਏ ਕੰਮ ਜੋ ਇੱਕ ਖੜੀ ਦੇਣਦਾਰੀ (liability) ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ, ਯਾਨੀ ਉਹ ਕੰਮ ਜਿਸਦਾ ਬਿੱਲ ਮੁਕੰਮਲ ਹੋਣ ਤੋਂ ਬਾਅਦ ਭਰਿਆ ਜਾਵੇਗਾ।
- Labour – ਉਹ ਅਸਲ ਕੰਮ ਯੂਨਿਟ ਜੋ ਏਜੰਟ ਨੇ ਕੀਤੇ।
ਲੌਗ ਫਾਈਲ ਵਿੱਚ “error” ਲੱਭਣ ਦੀ ਬਜਾਏ, ਅਸੀਂ ਹੁਣ ਇੱਕ ਅਸਲ ਵਿੱਤੀ ਕੁਐਰੀ ਚਲਾ ਸਕਦੇ ਹਾਂ: “ਉਹ ਸਾਰੇ ਵਾਅਦੇ (promises) ਦਿਖਾਓ ਜਿਨ੍ਹਾਂ ਦੀ ਕੁੱਲ ਰਕਮ $100 ਤੋਂ ਵੱਧ ਹੈ।” ਲੈਜਰ ਲੁਕੀ ਹੋਈ ਲਾਗਤ ਨੂੰ ਦਿਖਾਈ ਦੇਣਯੋਗ ਅਤੇ ਸਰਚ ਕਰਨ ਯੋਗ ਬਣਾ ਦਿੰਦਾ ਹੈ।
ਕਲੋਜ਼ਡ-ਲੂਪ ਕੰਟਰੋਲ ਸਿਸਟਮ
ਕ੍ਰੈਡਿਟ-ਸੀਮਾ ਮਕੈਨਿਜ਼ਮ ਇੱਕ ਚਾਰ-ਪੜਾਵੀ ਲੂਪ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ ਜੋ ਲਗਾਤਾਰ ਚੱਲਦਾ ਰਹਿੰਦਾ ਹੈ:
- Measure – ਹਰ ਏਜੰਟ ਦੀ ਵਾਰੀ ਖਰਚੇ ਦੇ ਲੌਗ ਵਿੱਚ ਇੱਕ ਲਾਈਨ ਜੋੜਦੀ ਹੈ, ਜਿਸ ਵਿੱਚ ਟੋਕਨ ਦੀ ਵਰਤੋਂ ਅਤੇ ਨਿਰਧਾਰਤ ਡਾਲਰ ਦੀ ਰਕਮ ਦਰਜ ਹੁੰਦੀ ਹੈ।
- Price – ਸਿਸਟਮ ਮੌਜੂਦਾ ਦਰ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਟੋਕਨ ਕਾਊਂਟ ਨੂੰ USD ਵਿੱਚ ਬਦਲਦਾ ਹੈ।
- Alert – ਇੱਕ ਮਾਨੀਟਰ ਰੋਲਿੰਗ ਬਜਟ 'ਤੇ ਨਜ਼ਰ ਰੱਖਦਾ ਹੈ। ਇਸਦੀ ਸਥਿਤੀ none (ਕੋਈ ਚੇਤਾਵਨੀ ਨਹੀਂ) ਤੋਂ warn (ਸੀਮਾ ਦੇ ਨੇੜੇ) ਅਤੇ ਫਿਰ cap (ਸੀਮਾ ਤੱਕ ਪਹੁੰਚ ਗਿਆ) ਤੱਕ ਬਦਲਦੀ ਹੈ।
- Throttle – ਜਦੋਂ ਕੈਪ (cap) ਸਰਗਰਮ ਹੁੰਦੀ ਹੈ, ਤਾਂ ਗੇਟ ਮੌਜੂਦਾ ਸਥਿਤੀ ਨੂੰ ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਕਿਸੇ ਵੀ ਨਵੇਂ ਕੰਮ ਨੂੰ ਭੇਜਣ ਤੋਂ ਰੋਕ ਦਿੰਦਾ ਹੈ।
ਬਜਟ ਵਿੰਡੋ ਇੱਕ ਰੋਲਿੰਗ ਪੰਜ-ਘੰਟੇ ਦੀ ਮਿਆਦ ਹੈ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਸਿਸਟਮ ਹਮੇਸ਼ਾ ਖਰਚੇ ਦੇ ਪਿਛਲੇ ਪੰਜ ਘੰਟਿਆਂ ਨੂੰ ਦੇਖਦਾ ਹੈ, ਨਾ ਕਿ ਕਿਸੇ ਨਿਸ਼ਚਿਤ ਕੈਲੰਡਰ ਬਲਾਕ ਨੂੰ। ਇਹ ਲੂਪ ਨੂੰ ਗਤੀਵਿਧੀਆਂ ਦੇ ਅਚਾਨਕ ਵਾਧੇ ਪ੍ਰਤੀ ਤਤਪਰ ਰੱਖਦਾ ਹੈ ਅਤੇ ਕਿਸੇ ਇੱਕ ਅਚਾਨਕ ਵਾਧੇ ਕਾਰਨ ਫਲੀਟ ਨੂੰ ਅਨੰਤਕਾਲ ਲਈ ਲਾਕ ਹੋਣ ਤੋਂ ਰੋਕਦਾ ਹੈ।
ਇੱਕ ਡੈਸ਼ਬੋਰਡ ਜੋ ਸਿਰਫ਼ ਖਰਚਾ ਦਿਖਾਉਂਦਾ ਹੈ, ਉਹ ਸਿਰਫ਼ ਇੱਕ ਕਹਾਣੀ ਸੁਣਾਉਂਦਾ ਹੈ; ਪਰ ਉਹ ਥਰੋਟਲ ਜੋ ਉਸ ਅੰਕੜੇ ਨੂੰ ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਕੰਮ ਭੇਜਣਾ ਰੋਕ ਦਿੰਦਾ ਹੈ, ਉਹ ਅਸਲ ਕੰਟਰੋਲ ਹੈ।
ਡਿਜ਼ਾਈਨ ਦੁਆਰਾ ਲਚਕਤਾ
ਖਰਚਾ-ਕੰਟਰੋਲ ਸਿਸਟਮ ਜੋ ਕਿ 'ਸਿੰਗਲ ਪੁਆਇੰਟ ਆਫ ਫੇਲਯਰ' ਬਣ ਜਾਵੇ, ਉਹ ਉਲਟ ਪ੍ਰਭਾਵ ਪਾਵੇਗਾ। ਅਸੀਂ ਤਿੰਨ ਸੁਰੱਖਿਆ ਉਪਾਅ ਬਣਾਏ ਹਨ:
- Fails open – ਜੇਕਰ ਬਜਟ ਟੂਲ ਕ੍ਰੈਸ਼ ਹੋ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਏਜੰਟ ਚੱਲਦੇ ਰਹਿੰਦੇ ਹਨ। ਖਰਚਾ ਅਨੁਸਾਰ ਨਹੀਂ ਹੋ ਸਕਦਾ, ਪਰ ਫਲੀਟ ਕਾਰਜਸ਼ੀਲ ਰਹਿੰਦੀ ਹੈ।
- Manual bypass – ਆਪਰੇਟਰ ਇੱਕ ਪ੍ਰਾਥਮਿਕਤਾ ਚੈਨਲ ਰਾਹੀਂ ਥਰੋਟਲ ਨੂੰ ਓਵਰਰਾਈਡ ਕਰ ਸਕਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਸੀਮਾ ਤੱਕ ਪਹੁੰਚਣ 'ਤੇ ਵੀ ਮਹੱਤਵਪੂਰਨ ਕੰਮ ਜਾਰੀ ਰੱਖੇ ਜਾ ਸਕਦੇ ਹਨ।
- Auto-resume – ਜਿਵੇਂ-ਜਿਵੇਂ ਰੋਲਿੰਗ ਵਿੰਡੋ ਅੱਗੇ ਵਧਦੀ ਹੈ, ਪੁਰਾਣਾ ਖਰਚਾ ਗਣਨਾ ਵਿੱਚੋਂ ਬਾਹਰ ਹੋ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਵਾਰ ਜਦੋਂ ਕੁੱਲ ਰਕਮ ਸੀਮਾ ਤੋਂ ਹੇਠਾਂ ਆ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਗੇਟ ਮਨੁੱਖੀ ਦਖਲ ਤੋਂ ਬਿਨਾਂ ਆਪਣੇ ਆਪ ਦੁਬਾਰਾ ਖੁੱਲ੍ਹ ਜਾਂਦਾ ਹੈ।
ਟੈਸਟ: $100 ਦੀ ਸੀਮਾ ਬਨਾਮ $156 ਦਾ ਮੌਜੂਦਾ ਖਰਚਾ
ਅਸੀਂ $100 ਦੀ ਸੀਮਾ ਨਾਲ ਸਿਸਟਮ ਸ਼ੁਰੂ ਕੀਤਾ ਜਦੋਂ ਕਿ ਫਲੀਟ ਦੀ ਹਾਲੀਆ ਗਤੀਵਿਧੀ ਵਿੱਚ ਪਹਿਲਾਂ ਹੀ $156 ਦਾ ਖਰਚਾ ਹੋ ਚੁੱਕਾ ਸੀ। ਥਰੋਟਲ ਤੁਰੰਤ ਲਾਗੂ ਹੋ ਗਿਆ, ਅਤੇ ਸਾਰੇ ਨਵੇਂ ਕੰਮ ਰੁਕ ਗਏ। ਜਦੋਂ ਅਸੀਂ ਸੀਮਾ ਵਧਾ ਕੇ $200 ਕਰ ਦਿੱਤੀ, ਤਾਂ ਗੇਟ ਦੁਬਾਰਾ ਖੁੱਲ੍ਹ ਗਿਆ ਅਤੇ ਬਿਨਾਂ ਕਿਸੇ ਹੋਰ ਮੈਨੂਅਲ ਕਦਮ ਦੇ ਕੰਮ ਦੁਬਾਰਾ ਸ਼ੁਰੂ ਹੋ ਗਿਆ।
ਪ੍ਰਯੋਗ ਨੇ ਦੋ ਚੀਜ਼ਾਂ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ:
- ਕੰਟਰੋਲ ਲੂਪ ਰੀਅਲ-ਟਾਈਮ ਵਿੱਚ ਪ੍ਰਤੀਕਿਰਿਆ ਕਰਦਾ ਹੈ; ਉਲੰਘਣਾ ਦੀ ਪਛਾਣ ਅਤੇ ਲਾਗੂ ਕਰਨ ਦੇ ਵਿਚਕਾਰ ਕੋਈ ਦੇਰੀ ਨਹੀਂ ਹੁੰਦੀ।
- ਆਪਰੇਟਰ ਤੁਰੰਤ ਸੀਮਾਵਾਂ ਨੂੰ ਐਡਜਸਟ ਕਰ ਸਕਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਘੱਟ-ਪ੍ਰਾਥਮਿਕਤਾ ਵਾਲੇ ਕੰਮਾਂ ਲਈ ਬੇਲੋੜਾ ਡਾਊਨਟਾਈਮ ਰੁਕ ਜਾਂਦਾ ਹੈ।
Takeaway: ਏਜੰਟ ਲੌਗਸ ਨੂੰ ਵਿੱਤੀ ਲੈਜਰ ਵਜੋਂ ਮੰਨਣਾ ਅਤੇ ਡਿਸਪੈਚ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਰੋਲਿੰਗ-ਬਜਟ ਥਰੋਟਲ ਨੂੰ ਜੋੜਨਾ ਤੁਹਾਨੂੰ ਜ਼ਿਆਦਾ ਖਰਚੇ ਦੇ ਵਿਰੁੱਧ ਇੱਕ ਤੁਰੰਤ, ਲਾਗੂ ਕਰਨਯੋਗ ਸੁਰੱਖਿਆ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਹ ਇੱਕ ਸਸਤਾ, ਲਚਕੀਲਾ ਕੰਟਰੋਲ ਹੈ ਜੋ ਅੱਜ ਕੰਮ ਕਰਦਾ ਹੈ; ਵਧੇਰੇ ਉੱਨਤ ਨੀਤੀ