ਏਜੰਟ ਰਨਟਾਈਮ ਈਵੈਂਟ ਮਾਡਲ
ਏਜੰਟ ਫਰੇਮਵਰਕਾਂ ਬਾਰੇ ਬਹਿਸ ਕਰਨਾ ਬੰਦ ਕਰੋ।
ਇੰਜੀਨੀਅਰ ਅਕਸਰ ਪੁੱਛਦੇ ਹਨ ਕਿ ਕੀ ਉਨ੍ਹਾਂ ਨੂੰ LangChain, CrewAI ਦੀ ਵਰਤੋਂ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ, ਜਾਂ ਆਪਣਾ ਖੁਦ ਦਾ ਬਣਾਉਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਹ ਗਲਤ ਸਵਾਲ ਹੈ। ਅਸਲ ਫੈਸਲਾ ਇਹ ਹੈ ਕਿ ਤੁਸੀਂ ਆਪਣੇ ਏਜੰਟ ਰਨਟਾਈਮ ਦੇ ਅੰਦਰ ਪਾਲਿਸੀ (policy) ਕਿੱਥੇ ਲਗਾਉਂਦੇ ਹੋ।
ਫਰੇਮਵਰਕ ਬਦਲਦੇ ਰਹਿੰਦੇ ਹਨ। ਪਾਲਿਸੀ ਲਈ ਆਰਕੀਟੈਕਚਰਲ ਲੋੜ ਉਹੀ ਰਹਿੰਦੀ ਹੈ।
ਹਰ ਪ੍ਰੋਡਕਸ਼ਨ ਏਜੰਟ ਸਟੈਕ ਨੂੰ ਬੱਗ (bugs) ਅਤੇ ਸੁਰੱਖਿਆ ਲੀਕਾਂ ਨੂੰ ਰੋਕਣ ਲਈ ਚਾਰ ਖਾਸ ਰਨਟਾਈਮ ਈਵੈਂਟਸ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ:
• UserPromptSubmit: ਪ੍ਰੋਂਪਟ ਦੇ ਮਾਡਲ ਤੱਕ ਪਹੁੰਚਣ ਤੋਂ ਪਹਿਲਾਂ। ਇਸਦੀ ਵਰਤੋਂ ਸੀਕਰੇਟਸ (secrets) ਅਤੇ PII ਨੂੰ ਰੋਕਣ ਲਈ ਕਰੋ। • PreToolUse: ਕਿਸੇ ਟੂਲ ਦੇ ਚੱਲਣ ਤੋਂ ਪਹਿਲਾਂ। ਇਸਦੀ ਵਰਤੋਂ ਲਾਗਤ ਬਜਟ ਅਤੇ ਟੂਲ ਵ੍ਹਾਈਟਲਿਸਟ (tool whitelists) ਨੂੰ ਲਾਗੂ ਕਰਨ ਲਈ ਕਰੋ। • PostToolUse: ਟੂਲ ਦੇ ਵਾਪਸ ਆਉਣ ਤੋਂ ਬਾਅਦ। ਇਸਦੀ ਵਰਤੋਂ PII ਜਾਂ ਇੰਜੈਕਸ਼ਨ ਅਟੈਕਸ (injection attacks) ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਕਰੋ। • Stop: ਏਜੰਟ ਦੇ ਖਤਮ ਹੋਣ ਤੋਂ ਬਾਅਦ। ਇਸਦੀ ਵਰਤੋਂ ਇਹ ਪੁਸ਼ਟੀ ਕਰਨ ਲਈ ਕਰੋ ਕਿ ਏਜੰਟ ਨੇ ਅਸਲ ਵਿੱਚ ਕੰਮ ਪੂਰਾ ਕਰ ਲਿਆ ਹੈ।
ਹਰੇਕ ਈਵੈਂਟ ਦਾ ਕੰਮ ਵੱਖਰਾ ਹੁੰਦਾ ਹੈ।
ਪ੍ਰੋਂਪਟ ਸਬਮਿਸ਼ਨ ਤੇਜ਼ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ। ਇਸਨੂੰ ਮਿਲੀਸੈਕਿੰਡਾਂ ਵਿੱਚ ਚੱਲਣਾ ਚਾਹੀਦਾ ਹੈ ਤਾਂ ਜੋ ਉਪਭੋਗਤਾ ਨੂੰ ਇੰਤਜ਼ਾਰ ਨਾ ਕਰਨਾ ਪਵੇ। Stop ਈਵੈਂਟ ਵਿੱਚ ਜ਼ਿਆਦਾ ਸਮਾਂ ਲੱਗ ਸਕਦਾ ਹੈ। ਤੁਸੀਂ ਉਪਭੋਗਤਾ ਦੁਆਰਾ ਨਤੀਜਾ ਦੇਖਣ ਤੋਂ ਪਹਿਲਾਂ ਇਹ ਪੁਸ਼ਟੀ ਕਰਨ ਲਈ ਇੱਕ ਪੂਰਾ ਸੈਕਿੰਡ ਲਗਾ ਸਕਦੇ ਹੋ ਕਿ ਏਜੰਟ ਨੇ ਅਸਲ ਵਿੱਚ ਆਪਣਾ ਕੰਮ ਕੀਤਾ ਹੈ ਜਾਂ ਨਹੀਂ।
ਤੁਹਾਨੂੰ ਇਹ ਵੀ ਫੈਸਲਾ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਹੁੱਕਸ (hooks) ਕਿਵੇਂ ਫੇਲ ਹੁੰਦੇ ਹਨ।
ਜੇਕਰ ਕੋਈ ਸੁਰੱਖਿਆ ਹੁੱਕ ਕ੍ਰੈਸ਼ ਹੋ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਤੁਹਾਨੂੰ 'fail closed' (ਸੁਰੱਖਿਆ ਲਈ ਬੰਦ ਹੋਣਾ) ਚਾਹੀਦਾ ਹੈ। ਕਿਸੇ ਸੀਕਰੇਟ ਨੂੰ ਲੀਕ ਕਰਨ ਨਾਲੋਂ ਬੇਨਤੀ ਨੂੰ ਰੱਦ ਕਰਨਾ ਬਿਹਤਰ ਹੈ। ਜੇਕਰ ਕੋਈ ਕੁਆਲਿਟੀ ਚੈੱਕ ਕ੍ਰੈਸ਼ ਹੋ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਤੁਸੀਂ 'fail open' (ਸੇਵਾ ਜਾਰੀ ਰੱਖਣ ਲਈ ਖੁੱਲ੍ਹਾ ਰਹਿਣਾ) ਕਰ ਸਕਦੇ ਹੋ ਤਾਂ ਜੋ ਉਪਭੋਗਤਾ ਨੂੰ ਫਿਰ ਵੀ ਜਵਾਬ ਮਿਲ ਸਕੇ।
ਫਰੇਮਵਰਕ ਇੱਕ ਆਮ ਚੀਜ਼ (commodity) ਹਨ। ਤੁਹਾਡੀ ਪਾਲਿਸੀ ਕਵਰੇਜ ਹੀ ਤੁਹਾਡੀ ਅਸਲ ਤਾਕਤ (moat) ਹੈ।
ਆਪਣੇ ਮੌਜੂਦਾ ਸਟੈਕ ਬਾਰੇ ਆਪਣੇ ਆਪ ਨੂੰ ਇਹ ਤਿੰਨ ਸਵਾਲ ਪੁੱਛੋ:
- ਕਿਹੜਾ ਈਵੈਂਟ ਪ੍ਰੋਂਪਟਸ ਵਿੱਚ ਸੀਕਰੇਟ ਲੀਕਾਂ ਨੂੰ ਰੋਕਦਾ ਹੈ?
- ਕਿਹੜਾ ਈਵੈਂਟ ਕਿਸੇ ਏਜੰਟ ਨੂੰ ਕੰਮ ਖਤਮ ਕਰਨ ਬਾਰੇ ਝੂਠ ਬੋਲਦੇ ਫੜਦਾ ਹੈ?
- ਮਾਡਲ ਦੁਆਰਾ ਪੜ੍ਹੇ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ ਕਿਹੜਾ ਈਵੈਂਟ PII ਲਈ ਟੂਲ ਆਊਟਪੁੱਟ ਦੀ ਜਾਂਚ ਕਰਦਾ ਹੈ?
ਜੇਕਰ ਤੁਸੀਂ ਇਹਨਾਂ ਦੇ ਜਵਾਬ ਨਹੀਂ ਦੇ ਸਕਦੇ, ਤਾਂ ਤੁਹਾਡਾ ਏਜੰਟ ਪ੍ਰੋਡਕਸ਼ਨ ਲਈ ਤਿਆਰ ਨਹੀਂ ਹੈ।
ਸਰੋਤ: https://dev.to/willianpinho/the-agent-runtime-event-model-55l9
ਵਿਕਲਪਿਕ ਲਰਨਿੰਗ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi