ਓਪਨ-ਸੋਰਸ Numbat ਪ੍ਰੋਜੈਕਟ ਇਹ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ AI-agent hooks ਕੋਈ ਸੁਰੱਖਿਆ ਸੀਮਾ (security boundary) ਨਹੀਂ ਹਨ ਅਤੇ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਵਰਕਸਪੇਸਾਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੱਖਣ ਲਈ ਇੱਕ 'ਮਾਨੀਟਰਿੰਗ-ਫਸਟ' (monitoring-first) ਫਰੇਮਵਰਕ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਹਰੇਕ ਏਜੰਟ ਨੂੰ ਇੱਕ ਅਜਿਹੇ ਨਿਰੀਖਣਯੋਗ (observable) ਐਂਡਪੁਆਇੰਟ ਵਜੋਂ ਮੰਨ ਕੇ ਜਿਸ ਨੂੰ ਮੁੜ ਸਿਰਜਿਆ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ, ਲੋੜ ਪੈਣ 'ਤੇ, ਰੋਕਿਆ ਜਾ ਸਕਦਾ ਹੈ, Numbat ਟੀਮਾਂ ਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਸੇਫਟੀ ਪ੍ਰੋਂਪਟ (safety prompt) 'ਤੇ ਭਰੋਸਾ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਸਹੀ ਸਵਾਲ ਪੁੱਛਣ ਲਈ ਮਜਬੂਰ ਕਰਦਾ ਹੈ।

AI-agent hooks ਨੂੰ ਸੇਫਟੀ ਪ੍ਰੋਂਪਟ ਤੋਂ ਵੱਧ ਦੀ ਲੋੜ ਕਿਉਂ ਹੈ

ਕੋਡਿੰਗ ਏਜੰਟ ਡਿਵੈਲਪਰ ਦੇ ਵਰਕਸਪੇਸ ਵਿੱਚ ਹਰ ਫਾਈਲ ਨੂੰ ਪੜ੍ਹ ਸਕਦੇ ਹਨ, ਲੋਕਲ ਬਿਲਡ ਟੂਲਸ (local build tools) ਨੂੰ ਚਲਾ ਸਕਦੇ ਹਨ, ਅਤੇ ਨੈੱਟਵਰਕ ਰਿਕੁਐਸਟਾਂ ਭੇਜ ਸਕਦੇ ਹਨ। ਇੱਕ ਪ੍ਰੋਂਪਟ ਜੋ ਕਹਿੰਦਾ ਹੈ “ਕੀ ਤੁਸੀਂ ਯਕੀਨੀ ਹੋ?” ਕਿਸੇ ਮਾਲੀਸ਼ੀਅਸ (malicious) ਜਾਂ ਬੱਗੀ (buggy) ਏਜੰਟ ਨੂੰ ਡਾਟਾ ਚੋਰੀ ਕਰਨ ਜਾਂ ਰੈਪੋਜ਼ੀਟਰੀ (repository) ਨੂੰ ਖਰਾਬ ਕਰਨ ਤੋਂ ਨਹੀਂ ਰੋਕ ਸਕਦਾ। ਜ਼ਿਆਦਾਤਰ ਟੀਮਾਂ ਉਸ ਹੁੱਕ (hook) ਨੂੰ ਜੋ ਏਜੰਟ ਨੂੰ ਹੋਸਟ ਨਾਲ ਜੋੜਦਾ ਹੈ, ਇੱਕ ਅਜਿਹੀ ਕੰਧ ਵਜੋਂ ਮੰਨਦੀਆਂ ਹਨ ਜੋ ਮਾੜੇ ਵਿਵਹਾਰ ਨੂੰ ਰੋਕਦੀ ਹੈ, ਪਰ ਅਸਲ ਵਿੱਚ ਉਹ ਹੁੱਕ ਸਿਰਫ਼ ਸੰਪਰਕ ਦਾ ਇੱਕ ਬਿੰਦੂ ਹੈ, ਕੋਈ ਗੇਟਕੀਪਰ ਨਹੀਂ।

ਉਹ ਤਿੰਨ ਸਮਰੱਥਾਵਾਂ ਜੋ ਕਿਸੇ ਵੀ ਸੁਰੱਖਿਆ ਰਣਨੀਤੀ ਵਿੱਚ ਹੋਣੀਆਂ ਚਾਹੀਦੀਆਂ ਹਨ

  • Observation (ਨਿਰੀਖਣ) – ਹੋਸਟ ਨੂੰ ਅਸਲ ਸਮੇਂ (real time) ਵਿੱਚ ਇਹ ਦਿਖਾਉਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਏਜੰਟ ਕੀ ਕਰ ਰਿਹਾ ਹੈ। ਲੌਗਸ (logs) ਜਾਂ ਹੁੱਕ ਆਉਟਪੁੱਟ ਤੋਂ ਬਿਨਾਂ, ਕੋਈ ਵੀ ਗਲਤ ਕਾਰਵਾਈ ਪਿਛੋਕੜ ਵਿੱਚ ਗੁਆਚ ਜਾਂਦੀ ਹੈ।
  • Reconstruction (ਮੁੜ ਸਿਰਜਣਾ) – ਕਿਸੇ ਘਟਨਾ ਤੋਂ ਬਾਅਦ, ਇੰਜੀਨੀਅਰਾਂ ਨੂੰ ਹੋਰ ਗੁਪਤ ਜਾਣਕਾਰੀ ਨੂੰ ਪ੍ਰਗਟ ਕੀਤੇ ਬਿਨਾਂ ਘਟਨਾਵਾਂ ਦੀ ਲੜੀ ਨੂੰ ਜੋੜਨ ਲਈ ਲੋੜੀਂਦੇ ਸੰਦਰਭ (context) ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇੱਕ ਟ੍ਰਾਂਸਕ੍ਰਿਪਟ (transcript) ਜੋ ਹਰ ਰਿਕੁਐਸ, ਫਾਈਲ ਰੀਡ ਅਤੇ ਨੈੱਟਵਰਕ ਕਾਲ ਨੂੰ ਰਿਕਾਰਡ ਕਰਦੀ ਹੈ, ਉਹ ਬਹੁਤ ਜ਼ਰੂਰੀ ਹੈ।
  • Enforcement (ਲਾਗੂ ਕਰਨਾ) – ਸਿਸਟਮ ਨੂੰ ਕਿਸੇ ਖ਼ਤਰਨਾਕ ਕਾਰਵਾਈ ਨੂੰ ਚੱਲਣ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਰੋਕ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਹ ਸਿਰਫ਼ ਘਟਨਾ ਨੂੰ ਰਿਕਾਰਡ ਕਰਨ ਤੋਂ ਕਿਤੇ ਵੱਧ ਹੈ; ਇਸ ਲਈ ਇੱਕ ਅਜਿਹੇ ਮਕੈਨਿਜ਼ਮ ਦੀ ਲੋੜ ਹੈ ਜੋ ਸਿਰਫ਼ ਰਿਪੋਰਟ ਹੀ ਨਾ ਕਰੇ, ਸਗੋਂ ਦਖਲਅੰਦਾਜ਼ੀ ਵੀ ਕਰ ਸਕੇ।

Numbat ਇੱਕ ਸਿੰਗਲ ਮਾਡਲ ਬਣਾਉਂਦਾ ਹੈ ਜੋ ਲੋਕਲ ਹੁੱਕਸ, ਸਿਸਟਮ ਲੌਗਸ ਅਤੇ ਸੈਸ਼ਨ ਫਾਈਲਾਂ ਤੋਂ ਡਾਟਾ ਇਕੱਠਾ ਕਰਦਾ ਹੈ, ਅਤੇ ਫਿਰ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਅਜਿਹੇ ਨਿਯਮ ਲਾਗੂ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਜੋ ਇਹਨਾਂ ਤਿੰਨਾਂ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਕਵਰ ਕਰਦੇ ਹਨ। ਦਸਤਾਵੇਜ਼ (documentation) ਇਹ ਸਪੱਸ਼ਟ ਕਰਦੇ ਹਨ ਕਿ ਮਾਨੀਟਰਿੰਗ (monitoring) ਡਿਫੌਲਟ ਸਥਿਤੀ ਹੈ; enforcement ਇੱਕ 'ਆਪਟ-ਇਨ' (opt-in) ਵਿਕਲਪ ਹੈ ਜੋ ਅਜੇ ਵੀ ਅੰਤਿਮ ਫੈਸਲੇ ਲਈ ਹੋਸਟ ਦੇ ਕੰਟਰੋਲ ਵਿੱਚ ਰਹਿੰਦਾ ਹੈ।

ਮਾਨੀਟਰਿੰਗ ਬਨਾਮ ਇਨਫੋਰਸਮੈਂਟ: ਉਹ ਅੰਤਰ ਜੋ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ

ਬਹੁਤ ਸਾਰੇ ਡਿਵੈਲਪਰ "ਸੁਰੱਖਿਆ" (protection) ਨੂੰ "ਮਾਨੀਟਰਿੰਗ" (monitoring) ਸਮਝ ਲੈਂਦੇ ਹਨ। Numbat ਇਹਨਾਂ ਦੋਵਾਂ ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਰੇਖਾ ਖਿੱਚਦਾ ਹੈ। ਮਾਨੀਟਰਿੰਗ-ਫਸਟ ਪਹੁੰਚ ਏਜੰਟ ਦੇ ਵਿਵਹਾਰ ਨੂੰ ਬਦਲੇ ਬਿਨਾਂ ਟੀਮਾਂ ਨੂੰ ਹਰ ਏਜੰਟ ਕਾਰਵਾਈ ਦੀ ਸਪੱਸ਼ਟਤਾ (visibility) ਦਿੰਦੀ ਹੈ। ਜੇਕਰ ਕੋਈ ਨਿਯਮ ਬਾਅਦ ਵਿੱਚ ਦੁਰਵਰਤੋਂ ਦੇ ਪੈਟਰਨ ਦਾ ਸੰਕੇਤ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਟੀਮ ਉਸ ਖਾਸ ਕਾਰਵਾਈ ਲਈ enforcement ਨੂੰ ਚਾਲੂ ਕਰ ਸਕਦੀ ਹੈ। Enforcement ਦਾ ਰਸਤਾ ਅਸਲ ਟੂਲ ਨੂੰ ਹਾਈਜੈਕ ਨਹੀਂ ਕਰਦਾ; ਇਹ ਸਿਰਫ਼ ਹੋਸਟ ਨੂੰ ਰਿਕੁਐਸ ਨੂੰ ਰੱਦ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਹੋਸਟ ਦੇ ਆਪਣੇ ਸਰੋਤਾਂ 'ਤੇ ਅਧਿਕਾਰ ਬਣਿਆ ਰਹਿੰਦਾ ਹੈ ਅਤੇ ਨਾਲ ਹੀ ਇੱਕ ਸੁਰੱਖਿਆ ਜਾਲ (safety net) ਵੀ ਪ੍ਰਦਾਨ ਹੁੰਦਾ ਹੈ।

Numbat ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੀ ਗਈ ਟ੍ਰਾਂਸਕ੍ਰਿਪਟ ਇੱਕ ਆਡਿਟ ਟ੍ਰੇਲ (audit trail) ਵਜੋਂ ਕੰਮ ਕਰਦੀ ਹੈ। ਇਹ ਜਾਂਚਕਰਤਾਵਾਂ ਨੂੰ ਇਹ ਸਮਝਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀ ਹੈ ਕਿ ਕੀ ਗਲਤ ਹੋਇਆ, ਪਰ ਇਹ ਸਮੱਸਿਆ ਨੂੰ ਵਾਪਰਨ ਤੋਂ ਨਹੀਂ ਰੋਕਦੀ। ਇਸੇ ਲਈ ਪ੍ਰੋਜੈਕਟ ਦੀ ਸਿਫਾਰਸ਼ ਹੈ ਕਿ ਪਹਿਲਾਂ ਨਿਰੀਖਣ (observation) ਨਾਲ ਸ਼ੁਰੂਆਤ ਕੀਤੀ ਜਾਵੇ, ਫਿਰ ਮੁੜ ਸਿਰਜਣਾ (reconstruction) ਵੱ

ਮੁੱਖ ਨੁਕਤਾ: AI-agent hooks ਨੂੰ ਕੰਧਾਂ ਵਜੋਂ ਨਹੀਂ, ਸਗੋਂ ਨਿਰੀਖਣ ਬਿੰਦੂਆਂ ਵਜੋਂ ਦੇਖੋ; ਪਹਿਲਾਂ ਨਿਗਰਾਨੀ ਕਰੋ, ਅਤੇ ਡੇਟਾ ਅਤੇ ਜੋਖਮ ਨੂੰ ਸਮਝਣ ਤੋਂ ਬਾਅਦ ਹੀ ਲਾਗੂ ਕਰੋ।