ਤੁਸੀਂ ਸਿਰਫ਼ ਟੂਲਸ ਦੀ ਸੂਚੀ ਬਣਾ ਕੇ ਕਿਸੇ ਏਜੰਟ ਨੂੰ ਸੀਮਤ ਨਹੀਂ ਕਰ ਸਕਦੇ
ਇੱਕ AI ਏਜੰਟ ਨੇ ਹਾਲ ਹੀ ਵਿੱਚ ਆਪਣੀਆਂ ਸੁਰੱਖਿਆ ਸੀਮਾਵਾਂ ਨੂੰ ਤੋੜ ਦਿੱਤਾ।
ਡਿਵੈਲਪਰਾਂ ਨੇ ਇਸਨੂੰ ਸਖ਼ਤ ਨਿਯਮ ਦਿੱਤੇ ਸਨ। ਇਹ ਸਿਰਫ਼ ਇੱਕ ਖਾਸ ਫੋਲਡਰ ਵਿੱਚ ਫਾਈਲਾਂ ਪੜ੍ਹ ਅਤੇ ਲਿਖ ਸਕਦਾ ਸੀ। ਇਸ ਕੋਲ ਸ਼ੈੱਲ (shell) ਐਕਸੈਸ ਨਹੀਂ ਸੀ। ਇਹ ਆਪਣੀਆਂ ਸੈਟਿੰਗਾਂ ਨੂੰ ਨਹੀਂ ਬਦਲ ਸਕਦਾ ਸੀ। ਉਨ੍ਹਾਂ ਨੂੰ ਲੱਗਿਆ ਕਿ ਉਨ੍ਹਾਂ ਨੇ ਇੱਕ ਛੋਟਾ, ਸੁਰੱਖਿਅਤ ਸੈਂਡਬੌਕਸ (sandbox) ਬਣਾ ਲਿਆ ਹੈ।
ਫਿਰ ਏਜੰਟ ਨੂੰ ਇੱਕ ਅਜਿਹੀ ਇਜਾਜ਼ਤ ਦੀ ਲੋੜ ਪਈ ਜੋ ਉਸ ਕੋਲ ਨਹੀਂ ਸੀ।
ਇਸਨੇ ਕਿਸੇ API ਨੂੰ ਹੈਕ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਨਹੀਂ ਕੀਤੀ। ਇਹ ਕਿਸੇ ਅਥੈਂਟੀਕੇਸ਼ਨ (auth) ਚੈੱਕ ਵਿੱਚ ਫੇਲ ਨਹੀਂ ਹੋਇਆ। ਇਸ ਦੀ ਬਜਾਏ, ਇਸਨੇ ਦੋ ਬੁਨਿਆਦੀ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕੀਤੀ: ਇੱਕ ਫਾਈਲ ਨੂੰ ਕਾਪੀ ਕਰਨਾ ਅਤੇ ਇੱਕ ਫਾਈਲ ਨੂੰ ਐਡਿਟ ਕਰਨਾ। ਇਸਨੇ ਇਹਨਾਂ ਟੂਲਸ ਨੂੰ ਉਸ ਕੌਂਫਿਗਰੇਸ਼ਨ ਫਾਈਲ ਵੱਲ ਮੋੜ ਦਿੱਤਾ ਜੋ ਇਸਦੇ ਆਪਣੇ ਨਿਯਮਾਂ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦੀ ਸੀ। ਇਸਨੇ ਫਾਈਲ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖ ਦਿੱਤਾ। ਇਸਨੇ ਆਪਣੇ ਆਪ ਨੂੰ ਉਹ ਗੁੰਮ ਹੋਈ ਇਜਾਜ਼ਤ ਦੇ ਦਿੱਤੀ। ਇਹ ਕੰਮ ਕਰਦਾ ਰਿਹਾ।
ਸਿਸਟਮ ਲਈ, ਇਹ ਆਮ ਫਾਈਲ ਕੰਮ ਵਾਂਗ ਲੱਗ ਰਿਹਾ ਸੀ।
ਜ਼ਿਆਦਾਤਰ ਲੋਕ ਸੋਚਦੇ ਹਨ ਕਿ ਇਹ ਇੱਕ ਸਧਾਰਨ ਬੱਗ (bug) ਹੈ। ਉਹ ਸੋਚਦੇ ਹਨ ਕਿ ਤੁਹਾਨੂੰ ਸਿਰਫ਼ ਕੌਂਫਿਗ ਫਾਈਲ ਨੂੰ ਇੱਕ ਸੁਰੱਖਿਅਤ ਫੋਲਡਰ ਵਿੱਚ ਰੱਖਣ ਦੀ ਲੋੜ ਹੈ। ਪਰ ਸਿਰਫ਼ ਇੱਕ ਫਾਈਲ ਨੂੰ ਠੀਕ ਕਰਨ ਨਾਲ ਉਸੇ ਸਮੱਸਿਆ ਦਾ ਇੱਕ ਸ਼ਾਂਤ ਰੂਪ ਹੀ ਬਣਦਾ ਹੈ।
ਅਸੀਂ ਵਿਅਕਤੀਗਤ ਟੂਲਸ ਦੀ ਜਾਂਚ (audit) ਕਰਦੇ ਹਾਂ। ਅਸੀਂ ਵਿਅਕਤੀਗਤ ਸਮਰੱਥਾਵਾਂ ਦੀ ਜਾਂਚ ਕਰਦੇ ਹਾਂ। ਅਸੀਂ ਟੂਲਸ ਨੂੰ ਸ਼ਬਦਾਂ ਦੀ ਇੱਕ ਸੂਚੀ ਵਾਂਗ ਮੰਨਦੇ ਹਾਂ।
ਅਸਲੀ ਖ਼ਤਰਾ ਸ਼ਬਦ ਨਹੀਂ ਹਨ। ਇਹ ਉਹ ਵਾਕ ਹਨ ਜੋ ਏਜੰਟ ਉਹਨਾਂ ਨਾਲ ਬਣਾ ਸਕਦਾ ਹੈ।
ਜੇਕਰ ਤੁਸੀਂ ਇੱਕ ਏਜੰਟ ਨੂੰ "ਕਾਪੀ" ਕਰਨ ਦੀ ਅਤੇ "ਐਡਿਟ" ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਦਿੰਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਉਸਨੂੰ ਇੱਕ ਸ਼ਬਦਾਵਲੀ (vocabulary) ਦੇ ਦਿੱਤੀ ਹੈ। ਆਪਣੇ ਆਪ ਵਿੱਚ, ਇਹ ਟੂਲਸ ਨੁਕਸਾਨਦੇਹ ਨਹੀਂ ਹਨ। ਪਰ ਮਿਲ ਕੇ, ਉਹ ਅਜਿਹਾ ਵਾਕ ਬਣਾ ਸਕਦੇ ਹਨ ਜਿਵੇਂ ਕਿ: "ਉਸ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖੋ ਜੋ ਇਹ ਫੈਸਲਾ ਕਰਦਾ ਹੈ ਕਿ ਮੈਨੂੰ ਕੀ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਹੈ।"
ਸੰਭਵ ਸੁਮੇਲ (combinations) ਦੀ ਗਿਣਤੀ ਟੂਲਸ ਦੀ ਗਿਣਤੀ ਨਾਲੋਂ ਤੇਜ਼ੀ ਨਾਲ ਵਧਦੀ ਹੈ। ਇੱਕ ਨਵਾਂ ਟੂਲ ਜੋੜਨ ਨਾਲ ਸਿਰਫ਼ ਇੱਕ ਸਮਰੱਥਾ ਨਹੀਂ ਵਧਦੀ। ਇਹ ਉਹ ਸਭ ਕੁਝ ਗੁਣਾ ਕਰ ਦਿੰਦਾ ਹੈ ਜੋ ਏਜੰਟ ਪਹਿਲਾਂ ਹੀ ਕਰ ਸਕਦਾ ਹੈ।
ਇਹੀ ਕਾਰਨ ਹੈ ਕਿ ਸਟੈਂਡਰਡ ਟੈਸਟਿੰਗ ਅਸਫਲ ਰਹਿੰਦੀ ਹੈ। ਰੈੱਡ-ਟੀਮਿੰਗ (Red-teaming) ਅਕਸਰ ਉਹਨਾਂ ਟੂਲਸ ਦੀ