ਏਜੈਂਟਿਕ AI ਗਵਰਨੈਂਸ ਫਰੇਮਵਰਕ
ਸਥਿਰ (Static) PDF ਨੀਤੀਆਂ ਗਤੀਸ਼ੀਲ (dynamic) AI ਏਜੰਟਾਂ ਨੂੰ ਕੰਟਰੋਲ ਨਹੀਂ ਕਰ ਸਕਦੀਆਂ। ਜੇਕਰ ਤੁਹਾਨੂੰ ਹਰ ਏਜੰਟ ਦੀ ਕਾਰਵਾਈ ਲਈ ਮੈਨੂਅਲ ਪ੍ਰਵਾਨਗੀ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਆਪਣੀ ਰਫ਼ਤਾਰ ਗੁਆ ਦੇਵੋਗੇ।
ਸਕੇਲ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ Human-in-the-Loop (HITL) ਤੋਂ Human-on-the-Loop (HOTL) ਵੱਲ ਵਧਣਾ ਚਾਹੀਦਾ ਹੈ। HITL ਵਿੱਚ, ਇਨਸਾਨ ਰੁਕਾਵਟ (bottlenecks) ਬਣ ਜਾਂਦੇ ਹਨ। HOTL ਵਿੱਚ, ਇਨਸਾਨ ਆਰਕੀਟੈਕਟ ਵਜੋਂ ਕੰਮ ਕਰਦੇ ਹਨ ਜੋ ਗਾਰਡਰੇਲ (guardrails) ਬਣਾਉਂਦੇ ਹਨ ਅਤੇ ਪ੍ਰਣਾਲੀਆਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰਦੇ ਹਨ।
ਆਟੋਨੋਮੀ ਸਪੈਕਟ੍ਰਮ
ਤੁਹਾਨੂੰ ਪ੍ਰੋਕਿਊਰਮੈਂਟ (procurement) ਏਜੰਟ ਨੂੰ DevOps ਏਜੰਟ ਵਾਂਗ ਨਹੀਂ ਸਮਝਣਾ ਚਾਹੀਦਾ। ਆਪਣੇ ਏਜੰਟਾਂ ਨੂੰ ਉਹਨਾਂ ਦੇ ਫੈਸਲਾ ਲੈਣ ਦੀ ਅਧਿਕਾਰਤਾ ਦੇ ਅਧਾਰ 'ਤੇ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰੋ:
• ਸਲਾਹਕਾਰ (ਘੱਟ ਆਟੋਨੋਮੀ): ਏਜੰਟ ਕਾਰਵਾਈਆਂ ਦਾ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ। ਇਨਸਾਨ ਉਹਨਾਂ ਨੂੰ ਲਾਗੂ ਕਰਦਾ ਹੈ। • ਅਰਧ-ਸਵੈਆਤੰਤਰ (ਦਰਮਿਆਨੀ ਆਟੋਨੋਮੀ): ਏਜੰਟ ਇੱਕ ਸੁਰੱਖਿਅਤ ਜ਼ੋਨ ਦੇ ਅੰਦਰ ਕੰਮ ਕਰਦਾ ਹੈ। ਇਹ ਸਿਰਫ਼ ਉਦੋਂ ਹੀ ਮਦਦ ਮੰਗਦਾ ਹੈ ਜਦੋਂ ਇਹ ਆਪਣੀ ਸੀਮਾ ਤੱਕ ਪਹੁੰਚ ਜਾਂਦਾ ਹੈ। • ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਵੈਆਤੰਤਰ (ਉੱਚ ਆਟੋਨੋਮੀ): ਏਜੰਟ ਇੱਕ ਸੈਂਡਬੌਕਸ (sandbox) ਦੇ ਅੰਦਰ ਸ਼ੁਰੂ ਤੋਂ ਅੰਤ ਤੱਕ ਟੀਚਿਆਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਦਾ ਹੈ।
ਉਦਾਹਰਨ: ਇੱਕ ਸਪੋਰਟ ਏਜੰਟ $50 ਤੱਕ ਰਿਫੰਡ ਜਾਰੀ ਕਰ ਸਕਦਾ ਹੈ। ਜੇਕਰ ਕੋਈ ਬੇਨਤੀ $51 ਦੀ ਹੈ, ਤਾਂ ਏਜੰਟ ਨੂੰ ਰੁਕਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਕਿਸੇ ਇਨਸਾਨ ਨੂੰ ਪੁੱਛਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਹ ਅਧਿਕਾਰ ਦੇ ਵਿਗਲਣ (authority drift) ਨੂੰ ਰੋਕਦਾ ਹੈ।
ਸੁਰੱਖਿਆ ਲਈ ਪ੍ਰੋਂਪਟਸ (Prompts) 'ਤੇ ਨਿਰਭਰ ਕਰਨਾ ਬੰਦ ਕਰੋ
ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ ਸੁਝਾਅ ਹੁੰਦੇ ਹਨ, ਨਿਯਮ ਨਹੀਂ। ਉਹ ਸੰਭਾਵਨਾਤਮਕ (probabilistic) ਹੁੰਦੇ ਹਨ। ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ, ਇੱਕ ਸੁਝਾਅ ਇੱਕ ਕਮਜ਼ੋਰੀ (vulnerability) ਹੁੰਦਾ ਹੈ। ਤੁਹਾਨੂੰ ਤਰਕ (reasoning) ਨੂੰ ਲਾਗੂ ਕਰਨ (enforcement) ਤੋਂ ਵੱਖ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।
ਇੱਕ ਲੇਅਰਡ ਡਿਫੈਂਸ (layered defense) ਦੀ ਵਰਤੋਂ ਕਰੋ:
- ਪ੍ਰੋਂਪਟ ਲੇਅਰ: ਇਰਾਦਾ ਅਤੇ ਦਿਸ਼ਾ-ਨਿਰਦੇਸ਼ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ।
- ਗਾਰਡਰੇਲ ਲੇਅਰ: ਇੱਕ ਡਿਟਰਮਿਨਿਸਟਿਕ (deterministic) ਮਿਡਲਵੇਅਰ ਜੋ ਸਖ਼ਤ ਨਿਯਮਾਂ ਦੇ ਅਧਾਰ 'ਤੇ ਕਾਰਵਾਈਆਂ ਦੀ ਪੁਸ਼ਟੀ ਕਰਦਾ ਹੈ।
- API ਲੇਅਰ: ਸਰੋਤ (resource) ਪੱਧਰ 'ਤੇ ਪਛਾਣ ਅਤੇ ਪਹੁੰਚ ਪ੍ਰਬੰਧਨ (identity and access management) ਨੂੰ ਲਾਗੂ ਕਰਦੀ ਹੈ।
ਇਹ ਸੈੱਟਅੱਪ ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ (prompt injection) ਨੂੰ ਰੋਕਦਾ ਹੈ। ਜੇਕਰ ਗਾਰਡਰੇਲ ਮਿਡਲਵੇਅਰ ਪੱਧਰ 'ਤੇ ਹੈ, ਤਾਂ ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਕੋਈ ਚਾਲ ਕੰਮ ਨਹੀਂ ਕਰੇਗੀ।
ਆਬਜ਼ਰਵੇਬਿਲਟੀ (Observability) ਅਤੇ ਕਿਲ ਸਵਿੱਚ (Kill Switch)
ਸਟੈਂਡਰਡ ਲੌਗਸ (Standard logs) ਕਾਫ਼ੀ ਨਹੀਂ ਹਨ। ਤੁਹਾਨੂੰ Chain-of-Thought (CoT) ਨੂੰ ਲੌਗ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਤੁਹਾਨੂੰ ਇਹ ਪਤਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਇੱਕ ਏਜੰਟ ਨੇ ਕਿਸੇ ਕਾਰਵਾਈ ਨੂੰ ਸਹੀ ਕਿਉਂ ਸਮਝਿਆ।
ਮਲਟੀ-ਏਜੰਟ ਵਰਕਫਲੋਅ ਵਿੱਚ ਕੈਸਕੇਡਿੰਗ ਫੇਲ੍ਹਅਰ (cascading failures) ਨੂੰ ਰੋਕਣ ਲਈ, ਇੱਕ ਕਿਲ ਸਵਿੱਚ ਪ੍ਰੋਟੋਕੋਲ (Kill Switch Protocol) ਲਾਗੂ ਕਰੋ। ਇਸ ਵਿੱਚ ਇਹ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ:
- ਸਾਰੇ ਸਰਗਰਮ (active) ਟੋਕਨ ਰੱਦ ਕਰਨਾ।
- ਸਾਰੇ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਥ੍ਰੈਡਸ (execution threads) ਨੂੰ ਖਤਮ ਕਰਨਾ।
- ਆਡਿਟ ਲਈ ਸਟੇਟ (state) ਨੂੰ ਫ੍ਰੀਜ਼ ਕਰਨਾ।
- ਪਿਛਲੇ ਪੰਜ ਤਰਕ ਕਦਮਾਂ (reasoning steps) ਦੇ ਨਾਲ ਇੱਕ ਇੰਜੀਨੀਅਰ ਨੂੰ ਸੂਚਿਤ ਕਰਨਾ।
ਡਾਇਨਾਮਿਕ ਪਰਮਿਸ਼ਨਿੰਗ
ਏਜੰਟਾਂ ਕੋਲ ਕੋਈ ਸਥਾਈ ਅਧਿਕਾਰ (standing privileges) ਨਹੀਂ ਹੋਣੇ ਚਾਹੀਦੇ। Just-in-Time (JIT) ਐਕਸੈਸ ਦੀ ਵਰਤੋਂ ਕਰੋ। ਇੱਕ ਏਜੰਟ ਸਿਰਫ਼ ਉਦੋਂ ਹੀ ਇੱਕ ਥੋੜ੍ਹੇ ਸਮੇਂ ਲਈ ਟੋਕਨ ਦੀ ਬੇਨਤੀ ਕਰਦਾ ਹੈ ਜਦੋਂ ਉਸਨੂੰ ਇੱਕ ਖਾਸ API ਨੂੰ ਕਾਲ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਏਜੰਟ ਦੀ ਪਛਾਣ ਮਨੁੱਖ ਦੁਆਰਾ ਪ੍ਰਵਾਨਿਤ ਇਰਾਦੇ ਨਾਲ ਜੁੜੀ ਰਹੇ।
ਪਲੇਟਫਾਰਮ ਇੰਜੀਨੀਅਰਾਂ ਲਈ ਮੁੱਖ ਗੱਲਾਂ:
- ਪ੍ਰਬੰਧਨ ਨੂੰ ਪ੍ਰੋਂਪਟਸ ਤੋਂ ਮਿਡਲਵੇਅਰ ਵਿੱਚ ਤਬਦੀਲ ਕਰੋ।
- ਸੁਰੱਖਿਆ ਕਮੀਆਂ ਨੂੰ ਰੋਕਣ ਲਈ JIT ਐਕਸੈਸ ਲਾਗੂ ਕਰੋ।
- ਸਿਰਫ਼ ਇਨਪੁਟ ਅਤੇ ਆਉਟਪੁੱਟ ਹੀ ਨਹੀਂ, ਸਗੋਂ ਤਰਕ ਦੇ ਕਦਮਾਂ ਨੂੰ ਵੀ ਲੌਗ ਕਰੋ।
- ਰੀਕਰਸਿਵ ਲੂਪ ਫੇਲ੍ਹ ਹੋਣ ਤੋਂ ਰੋਕਣ ਲਈ ਸਖ਼ਤ ਟੋਕਨ ਸੀਮਾਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰੋ।
ਸਰੋਤ: https://dev.to/omnithium/the-agentic-ai-governance-framework-balancing-autonomy-and-control-2occ
ਵਿਕਲਪਿਕ ਸਿੱਖਣ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi