ਤੁਹਾਡਾ AI Agent ਉਨਾ ਹੀ ਸੁਰੱਖਿਅਤ ਹੈ ਜਿੰਨੇ ਇਸਦੇ Tools

ਤੁਸੀਂ ਆਪਣੇ AI agent ਨੂੰ ਮਜ਼ਬੂਤ ਬਣਾਉਣ ਲਈ ਬਹੁਤ ਸਮਾਂ ਬਿਤਾਉਂਦੇ ਹੋ। ਤੁਸੀਂ permissions ਨੂੰ ਸੀਮਤ ਕਰਦੇ ਹੋ। ਤੁਸੀਂ code ਨੂੰ sandbox ਵਿੱਚ ਰੱਖਦੇ ਹੋ। ਤੁਸੀਂ outputs 'ਤੇ ਨਜ਼ਰ ਰੱਖਦੇ ਹੋ।

ਫਿਰ agent ਇੱਕ third-party tool ਲੋਡ ਕਰਦਾ ਹੈ। ਅਚਾਨਕ, ਤੁਹਾਡਾ ਸੁਰੱਖਿਆ ਕੰਮ ਫੇਲ ਹੋ ਜਾਂਦਾ ਹੈ।

ਤੁਹਾਡਾ agent ਉਨਾ ਹੀ ਸੁਰੱਖਿਅਤ ਹੈ ਜਿੰਨੇ ਉਹ agents ਅਤੇ tools ਜਿਨ੍ਹਾਂ ਨੂੰ ਇਹ ਕਾਲ (call) ਕਰਦਾ ਹੈ। ਇਹ ਹਰ ਹੋਰ agent ਨਾਲ ਇੱਕ registry, ਇੱਕ identity plane, ਅਤੇ ਇੱਕ gateway ਸਾਂਝਾ ਕਰਦਾ ਹੈ। ਇੱਕ tool ਵਿੱਚ ਇੱਕ ਸਿੰਗਲ ਫੇਲ੍ਹ ਹੋਣਾ ਤੁਹਾਡੇ ਪੂਰੇ ਸਿਸਟਮ ਵਿੱਚ ਫੈਲ ਜਾਂਦਾ ਹੈ।

ਜ਼ਿਆਦਾਤਰ ਟੀਮਾਂ agent ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਦੀਆਂ ਹਨ ਪਰ ecosystem ਨੂੰ ਭੁੱਲ ਜਾਂਦੀਆਂ ਹਨ। ਆਪਣੇ infrastructure ਦੀ ਰੱਖਿਆ ਲਈ ਇਹਨਾਂ ਛੇ ਰਣਨੀਤੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰੋ:

  • Digital fingerprints ਦੀ ਵਰਤੋਂ ਕਰੋ। ਇੱਕ tool ਸੋਮਵਾਰ ਨੂੰ ਸੁਰੱਖਿਅਤ ਲੱਗ ਸਕਦਾ ਹੈ ਪਰ ਵੀਰਵਾਰ ਨੂੰ ਦੁਸ਼ਮਣ (hostile) ਬਣ ਸਕਦਾ ਹੈ। Versions ਨੂੰ pin ਕਰੋ ਅਤੇ tool description ਅਤੇ schema ਦੇ hash ਦੀ ਵਰਤੋਂ ਕਰੋ। ਹਰ ਵਾਰ ਜਦੋਂ tool ਲੋਡ ਹੁੰਦਾ ਹੈ, ਇਸ fingerprint ਦੀ ਮੁੜ-ਚੈਕਿੰਗ ਕਰੋ। ਜੇਕਰ fingerprint ਬਦਲਦਾ ਹੈ, ਤਾਂ tool ਨੂੰ ਰੋਕ ਦਿਓ।

  • Tool poisoning ਨੂੰ ਰੋਕੋ। ਇੱਕ tool ਦੀ description ਮਾਡਲ ਲਈ ਇੱਕ instruction channel ਹੁੰਦੀ ਹੈ। Malicious tools prompt injections ਨੂੰ ਤ੍ਰਿਗਰ ਕਰਨ ਲਈ descriptions ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। Tool metadata ਨਾਲ hostile input ਵਾਂਗ ਪੇਸ਼ ਕਰੋ। Hidden characters, HTML comments, ਜਾਂ "ignore previous orders" ਵਰਗੀਆਂ instructions ਲਈ ਸਕੈਨ ਕਰੋ।

  • ਨਾਮ ਦੀ ਉਲਝਣ ਨੂੰ ਰੋਕੋ। Malicious servers ਭਰੋਸੇਯੋਗ ਨਾਵਾਂ ਨਾਲ ਮਿਲਦੇ-ਜੁਲਦੇ ਨਾਮ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ, ਜਿਵੇਂ ਕਿ send_email ਦੀ ਬਜਾਏ send_emai1। ਲਗਭਗ ਇੱਕੋ ਜਿਹੇ (near-duplicate) ਨਾਵਾਂ ਨੂੰ ਫਲੈਗ ਕਰੋ। ਉਲਝਣ ਤੋਂ ਬਚਣ ਲਈ ਹਰ tool ਨੂੰ ਉਸਦੀ verified server identity ਰਾਹੀਂ namespace ਕਰੋ।

  • ਇੱਕ ਸਿੰਗਲ gateway ਬਣਾਓ। ਸਾਰੇ traffic ਨੂੰ ਇੱਕ auditable choke point ਰਾਹੀਂ ਰੂਟ ਕਰੋ। ਇਸ gateway ਨੂੰ callers ਨੂੰ authenticate ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, responses ਨੂੰ ਸਕੈਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਅਤੇ rate-limit ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਜੇਕਰ gateway ਨੂੰ ਕੋਈ ਗਲਤੀ ਮਿਲਦੀ ਹੈ, ਤਾਂ ਇਸਨੂੰ request ਨੂੰ ਰੱਦ ਕਰ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਸਨੂੰ ਸਿਰਫ਼ log ਕਰਕੇ ਅੱਗੇ ਨਾ ਵਧੋ।

  • ਇੱਕ ਅਸਲੀ kill switch ਬਣਾਓ। ਜ਼ਿਆਦਾਤਰ kill switches ਸਿਰਫ਼ ਮੁੱਖ agent ਨੂੰ ਰੋਕਦੇ ਹਨ। ਇਹ sub-agents ਅਤੇ tool sessions ਨੂੰ ਚੱਲਦਾ ਰਹਿਣ ਦਿੰਦਾ ਹੈ। ਇੱਕ ਅਸਲੀ stop signal ਹਰ sub-agent ਤੱਕ ਪਹੁੰਚਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਹਰ session ਨੂੰ ਇੱਕ ਸੁਰੱਖਿਅਤ ਸਥਿਤੀ ਵਿੱਚ ਛੱਡਣਾ ਚਾਹੀਦਾ ਹੈ।

  • ਆਪਣੇ safety systems ਦਾ ਟੈਸਟ ਕਰੋ। ਜੇਕਰ ਤੁਸੀਂ ਕਦੇ kill switch ਦਾ ਟੈਸਟ ਨਹੀਂ ਕਰਦੇ ਤਾਂ ਇਹ ਬੇਕਾਰ ਹੈ। ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ drills ਚਲਾਓ ਕਿ ਜਦੋਂ ਤੁਸੀਂ switch ਖਿੱਚਦੇ ਹੋ ਤਾਂ sub-agents ਅਸਲ ਵਿੱਚ ਰੁਕ ਜਾਂਦੇ ਹਨ।

AI tools ਨੂੰ software dependencies ਵਾਂਗ ਸਮਝੋ। ਉਹੀ hygiene ਲਾਗੂ ਕਰੋ: pin, sign, fingerprint, ਅਤੇ verify ਕਰੋ।

ਤੁਸੀਂ ਅੱਜ ਆਪਣੇ agents ਦੁਆਰਾ ਲੋਡ ਕੀਤੇ ਜਾਣ ਵਾਲੇ tools ਦੀ ਜਾਂਚ (vet) ਕਿਵੇਂ ਕਰਦੇ ਹੋ? ਜੇਕਰ ਤੁਹਾਡੇ ਮਨਜ਼ੂਰੀ ਦੇਣ ਤੋਂ ਬਾਅਦ ਕੋਈ tool ਬਦਲ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਕੀ ਤੁਸੀਂ ਉਸਨੂੰ ਫੜ ਸਕੋਗੇ?

Source: https://dev.to/brennhill/your-ai-agent-is-only-as-secure-as-the-tools-and-agents-it-calls-53p7

Optional learning community: https://t.me/GyaanSetuAi