AI ਏਜੰਟ ਸਕੋਪਸ ਅਤੇ ਟੂਲ ਲਾਈਫਸਾਈਕਲ
AI ਏਜੰਟ ਬਣਾਉਣਾ ਮੁਸ਼ਕਲ ਹੈ ਕਿਉਂਕਿ ਤੁਸੀਂ ਉਹਨਾਂ ਨੂੰ ਆਸਾਨੀ ਨਾਲ ਕੰਟਰੋਲ ਨਹੀਂ ਕਰ ਸਕਦੇ। ਤੁਹਾਨੂੰ ਲਾਗਤਾਂ (costs) ਨੂੰ ਸੀਮਤ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਤੁਹਾਨੂੰ ਲਗਾਤਾਰ ਚੱਲਦੇ ਰਹਿਣ ਵਾਲੇ ਲੂਪਸ (runaway loops) ਨੂੰ ਰੋਕਣ ਦੀ ਲੋੜ ਹੈ। ਜਦੋਂ ਕੋਈ ਰਨ (run) ਫੇਲ ਹੋ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਤੁਹਾਨੂੰ ਇਹ ਦੇਖਣ ਦੀ ਲੋੜ ਹੈ ਕਿ ਬਿਲਕੁਲ ਕੀ ਹੋਇਆ ਸੀ।
ਮੈਂ ਇਸ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਇੱਕ ਨਵਾਂ ਤਰੀਕਾ ਬਣਾਇਆ ਹੈ। ਇਹ AgentScope ਦੇ ਨਾਲ runAgent ਨਾਮਕ ਇੱਕ ਏਜੰਟ ਪ੍ਰਿਮੀਟਿਵ (agent primitive) ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਇਸ ਵਿੱਚ ਬਜਟ, ਰੀਪਲੇਅੈਬਲ ਇਵੈਂਟਸ (replayable events), ਅਤੇ ਸਟ੍ਰਕਚਰਡ ਕੈਂਸਲੇਸ਼ਨ (structured cancellation) ਸ਼ਾਮਲ ਹਨ।
ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਕੰਮ ਕਰਦਾ ਹੈ:
- ਟੂਲ ਫੰਕਸ਼ਨ ਸਾਧਾਰਨ async ਫੰਕਸ਼ਨ ਹਨ। ਕਿਸੇ ਗੁੰਝਲਦਾਰ schema ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ।
- ਟੂਲ ਵਾਪਸ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਬਜਟ ਦੀ ਜਾਂਚ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਸੀਮਾ (limit) ਤੱਕ ਪਹੁੰਚ ਜਾਂਦੇ ਹੋ, ਤਾਂ ਸਿਸਟਮ ਪੂਰੇ ਰਨ ਨੂੰ ਰੱਦ ਕਰ ਦਿੰਦਾ ਹੈ।
- Retries ਅਤੇ timeouts ਟੂਲ ਪੱਧਰ 'ਤੇ ਹੁੰਦੇ ਹਨ।
- ਕੈਂਸਲੇਸ਼ਨ ਪ੍ਰੋਪਗੇਟ (propagate) ਹੁੰਦਾ ਹੈ। ਜੇਕਰ ਕੋਈ ਯੂਜ਼ਰ ਏਜੰਟ ਨੂੰ ਰੋਕਦਾ ਹੈ, ਤਾਂ ਸਿਸਟਮ ਤੁਰੰਤ ਐਕਟਿਵ fetch ਜਾਂ ਡੇਟਾਬੇਸ ਕੁਐਰੀ ਨੂੰ ਰੋਕ ਦਿੰਦਾ ਹੈ।
- ਤੁਹਾਨੂੰ ਇੱਕ ਰੀਪਲੇਅੈਬਲ ਲੌਗ (replayable log) ਮਿਲਦਾ ਹੈ। ਹਰ ਇਵੈਂਟ ਟਾਈਪਡ (typed) ਅਤੇ ਕ੍ਰਮਵਾਰ (ordered) ਹੁੰਦਾ ਹੈ।
ਤੁਸੀਂ ਤਿੰਨ ਕਿਸਮਾਂ ਦੀਆਂ ਸੀਮਾਵਾਂ ਸੈੱਟ ਕਰ ਸਕਦੇ ਹੋ:
- CostBudget: ਕੁੱਲ ਖਰਚ ਕੀਤੇ ਗਏ USD ਨੂੰ ਸੀਮਤ ਕਰਦਾ ਹੈ।
- OpenAITokens: ਵਰਤੇ ਗਏ ਕੁੱਲ ਟੋਕਨਾਂ ਨੂੰ ਸੀਮਤ ਕਰਦਾ ਹੈ।
- AgentToolCalls: ਲਗਾਤਾਰ ਚੱਲਦੇ ਰਹਿਣ ਵਾਲੇ ਲੂਪਸ ਨੂੰ ਰੋਕਣ ਲਈ ਕੁੱਲ ਟੂਲ ਕਾਲਜ਼ ਨੂੰ ਸੀਮਤ ਕਰਦਾ ਹੈ।
ਇਹ ਪਹੁੰਚ ਹੋਰ ਫਰੇਮਵਰਕਸ ਨਾਲੋਂ ਵੱਖਰੀ ਹੈ। ਜ਼ਿਆਦਾਤਰ ਫਰੇਮਵਰਕਸ ਭਾਰੀ JSON schemas ਜਾਂ ਲੂਜ਼ ਟਾਈਪਿੰਗ (loose typing) ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਉਹਨਾਂ ਵਿੱਚ ਅਕਸਰ ਫਸਟ-ਕਲਾਸ ਬਜਟ ਪ੍ਰਿਮੀਟਿਵਸ ਦੀ ਕਮੀ ਹੁੰਦੀ ਹੈ। ਉਹਨਾਂ ਕੋਲ ਇੱਕੋ ਸਮੇਂ ਸਭ ਕੁਝ ਰੱਦ ਕਰਨ ਦਾ ਕੋਈ ਇਕਸਾਰ ਤਰੀਕਾ ਨਹੀਂ ਹੁੰਦਾ।
ਇਸ ਸਿਸਟਮ ਦੇ ਨਾਲ, ਤੁਹਾਡਾ ਏਜੰਟ ਤੁਹਾਡੀ ਐਪਲੀਕੇਸ਼ਨ ਦੇ ਸਮਾਨ ਲਾਈਫਸਾਈਕਲ ਨੂੰ ਸਾਂਝਾ ਕਰਦਾ ਹੈ। ਜੇਕਰ ਪੇਰੈਂਟ ਪ੍ਰੋਸੈਸ ਰੁਕ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਏਜੰਟ ਵੀ ਰੁਕ ਜਾਂਦਾ ਹੈ। ਪ੍ਰਬੰਧਨ (manage) ਕਰਨ ਲਈ ਕੋਈ ਦੂਜਾ runtime ਨਹੀਂ ਹੈ।
ਤੁਸੀਂ ਇਵੈਂਟ ਲੌਗ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ:
- ਫੇਲ੍ਹ ਹੋਣ ਵਾਲੇ ਹੀਟਮੈਪਸ (failure heatmaps) ਲਈ ਡੈਸ਼ਬੋਰਡ ਬਣਾਉਣ ਲਈ।
- ਟੈਸਟ ਵਾਤਾਵਰਣ ਵਿੱਚ ਰਨ ਨੂੰ ਰੀਪਲੇਅ ਕਰਨ ਲਈ।
- ਟੂਲ ਸਫਲਤਾ ਇਵੈਂਟਸ (tool success events) ਨੂੰ ਦੇਖ ਕੇ ਸਹੀ ਚਾਰਜਾਂ ਦਾ ਆਡਿਟ ਕਰਨ ਲਈ।
- ਦੋ ਵੱਖ-ਵੱਖ ਰਨਾਂ ਦੀ ਤੁਲਨਾ ਕਰਨ ਲਈ ਇਹ ਦੇਖਣ ਲਈ ਕਿ ਉਹ ਕਿੱਥੇ ਵੱਖ ਹੋਏ ਸਨ।
ਇਹ AI ਏਜੰਟਾਂ ਨੂੰ ਪ੍ਰੋਡਕਸ਼ਨ (production) ਲਈ ਅਨੁਮਾਨਯੋਗ (predictable) ਅਤੇ ਸੁਰੱਖਿਅਤ ਬਣਾਉਂਦਾ ਹੈ।
Source: https://github.com/WorkRuntime/workit
Optional learning community: https://t.me/GyaanSetuAi