ਮੈਂ ਖੋਜਿਆ ਕਿ ਇੱਕ ਸਿੰਗਲ ਸੇਫਟੀ-ਗੇਟ ਮੈਟ੍ਰਿਕ ਨੇ AI-ਜਨਰੇਟਡ ਐਕਸਪਲੇਨੇਸ਼ਨ ਫੀਚਰ ਵਿੱਚ ਪੂਰੇ ਦਿਨ ਦੀ ਆਊਟੇਜ ਨੂੰ ਛੁਪਾ ਲਿਆ। “ਗੇਟ ਰਿਜੈਕਸ਼ਨ” ਅਤੇ “ਮਾਡਲ ਲੋਡ ਫੇਲ੍ਹਰ” ਨੂੰ ਇੱਕੋ ਜਿਹੀ ਚੀਜ਼ ਮੰਨਣ ਕਾਰਨ, ਇਸ ਮੈਟ੍ਰਿਕ ਨੇ ਸਿਹਤ ਦਾ ਇੱਕ ਝੂਠਾ ਅਹਿਸਾਸ ਦਿੱਤਾ। ਇਸਨੇ ਚਾਰ ਰਿਜੈਕਸ਼ਨ ਅਤੇ ਜ਼ੀਰੋ ਸਫਲਤਾਵਾਂ ਦਰਜ ਕੀਤੀਆਂ, ਫਿਰ ਵੀ ਉਸ ਸਮੇਂ ਦੌਰਾਨ ਮਾਡਲ ਕਦੇ ਚੱਲਿਆ ਹੀ ਨਹੀਂ—ਇੱਕ ਅਜਿਹੀ ਗਲਤੀ ਜੋ ਆਪਰੇਟਰਾਂ ਨੂੰ ਇੱਕ ਖਰਾਬ ਸਿਸਟਮ ਬਾਰੇ ਅਣਜਾਣ ਰੱਖ ਸਕਦੀ ਸੀ।
ਭੁਲੇਖਾ ਕਿਵੇਂ ਲੱਗਿਆ
ਇਹ ਫੀਚਰ ਮਸ਼ੀਨ ਲੌਜਿਕ ਨੂੰ ਮਨੁੱਖੀ ਪੜ੍ਹਨਯੋਗ ਵਾਕਾਂ ਵਿੱਚ ਬਦਲਣ ਲਈ ਇੱਕ ਲੋਕਲ ਲੈਂਗੂਏਜ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਇੱਕ ਡਾਊਨਸਟ੍ਰੀਮ ਸੇਫਟੀ ਗੇਟ ਕਿਸੇ ਵੀ ਅਜਿਹੇ ਆਉਟਪੁੱਟ ਨੂੰ ਰੋਕ ਦਿੰਦਾ ਹੈ ਜੋ ਪਹਿਲਾਂ ਤੋਂ ਨਿਰਧਾਰਤ ਨਿਯਮਾਂ ਦੀ ਉਲੰਘਣਾ ਕਰਦਾ ਹੈ। ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ, ਮੈਂ ਇੱਕ ਸਿੰਗਲ ਕਾਊਂਟਰ ਐਕਸਪੋਜ਼ ਕੀਤਾ ਸੀ ਜੋ ਹਰ ਵਾਰ ਵਧਦਾ ਸੀ ਜਦੋਂ ਗੇਟ ਕਿਸੇ ਵਾਕ ਨੂੰ ਰਿਜੈਕਟ ਕਰਦਾ ਸੀ। ਜਦੋਂ ਡਰੋਨ ਨੇ ਚਾਰ AI ਐਕਸਪਲੇਨੇਸ਼ਨ ਲੌਗ ਕੀਤੀਆਂ, ਤਾਂ ਕਾਊਂਟਰ ਨੇ ਚਾਰ ਰਿਜੈਕਸ਼ਨ ਅਤੇ ਕੋਈ ਸਫਲ ਆਉਟਪੁੱਟ ਨਹੀਂ ਦਰਸਾਈ। ਮੈਂ ਇਸਨੂੰ ਗੇਟ ਦੁਆਰਾ ਆਪਣਾ ਕੰਮ ਕਰਨ ਵਜੋਂ ਲਿਆ, ਨਾ ਕਿ ਫੀਚਰ ਦੇ ਬੰਦ ਹੋਣ ਵਜੋਂ।
ਕਾਊਂਟਰ ਨੇ ਜਿਸ ਚੀਜ਼ ਨੂੰ ਛੁਪਾਇਆ ਸੀ ਉਹ ਦੋ-ਪੜਾਵੀ ਅਸਫਲਤਾ ਸੀ:
- ਮਾਡਲ ਨਹੀਂ ਚੱਲ ਰਿਹਾ – ਮਾਡਲ ਬਾਕੀ ਸਿਸਟਮ ਦੇ ਨਾਲ ਇੱਕੋ ਮਸ਼ੀਨ ਸਾਂਝੀ ਕਰਦਾ ਹੈ। ਮੈਮੋਰੀ ਬਚਾਉਣ ਲਈ, ਹੋਸਟ ਇਸਨੂੰ ਗੈਰ-ਪ੍ਰਾਧਾਨਤਾ (inactivity) ਤੋਂ ਬਾਅਦ ਅਨਲੋਡ ਕਰ ਦਿੰਦਾ ਹੈ।
- ਰੀਲੋਡ 'ਤੇ ਟਾਈਮਆਊਟ – ਜਦੋਂ ਇੱਕ ਨਵਾਂ ਖਤਰਾ ਆਇਆ, ਤਾਂ ਸਿਸਟਮ ਨੇ ਲਗਭਗ ਦੋ ਗੀਗਾਬਾਈਟ ਮਾਡਲ ਡੇਟਾ ਨੂੰ ਰੀਲੋਡ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ। ਰੀਲੋਡ ਨੇ ਤੀਹ-ਸਕਿੰਟ ਦੇ ਰਿਸਪਾਂਸ ਟਾਈਮਆਊਟ ਨੂੰ ਪਾਰ ਕਰ ਲਿਆ, ਇਸ ਲਈ ਰਿਕਵੈਸਟ ਟਾਈਮਆਊਟ ਹੋ ਗਈ ਅਤੇ ਇੱਕ ਖਾਲੀ ਜਵਾਬ ਵਾਪਸ ਆਇਆ।
ਕਿਉਂਕਿ ਕਾਊਂਟਰ ਨੇ ਗੇਟਡ ਰਿਜੈਕਸ਼ਨ ਅਤੇ ਟਾਈਮਆਊਟ ਕਾਰਨ ਹੋਏ ਖਾਲੀ ਜਵਾਬ ਨੂੰ ਇੱਕੋ ਜਿਹੀ ਘਟਨਾ ਮੰਨਿਆ, ਡੈਸ਼ਬੋਰਡ ਨੇ "ਕੰਮ ਕਰ ਰਹੇ ਸੇਫਟੀ ਗੇਟ" ਨੂੰ ਦਿਖਾਇਆ ਜਦੋਂ ਕਿ AI ਫੀਚਰ ਅਸਲ ਵਿੱਚ ਬੰਦ ਸੀ।
ਇਹ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ
AI-ਡਰਾਈਵਨ ਉਤਪਾਦਾਂ ਵਿੱਚ, ਸੇਫਟੀ ਗੇਟ ਨੁਕਸਾਨਦੇਹ ਜਾਂ ਬੇਤੁਕਾ ਆਉਟਪੁੱਟ ਰੋਕਦੇ ਹਨ। ਆਪਰੇਟਰ ਸਿਹਤ ਸੰਕੇਤ ਵਜੋਂ ਗੇਟ ਦੀ ਫਾਇਰ ਰੇਟ 'ਤੇ ਨਜ਼ਰ ਰੱਖਦੇ ਹਨ। ਜਦੋਂ ਉਹ ਸੰਕੇਤ ਅਸੰਬੰਧਿਤ ਅਸਫਲਤਾ ਮੋਡਾਂ ਨਾਲ ਮਿਲ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਮੈਟ੍ਰਿਕ ਇੱਕ ਚੁੱਪ ਝੂਠ ਬਣ ਜਾਂਦਾ ਹੈ: ਇਹ ਭਰੋਸਾ ਦਿਵਾਉਂਦਾ ਹੈ ਜਦੋਂ ਕਿ ਸੇਵਾ ਉਪਲਬਧ ਨਹੀਂ ਹੁੰਦੀ।
ਉਹ ਫਿਕਸ ਜਿਸਨੇ ਵਿਜ਼ੀਬਿਲਟੀ ਨੂੰ ਬਹਾਲ ਕੀਤਾ
ਮੈਂ ਤਿੰਨ ਵਿਵਹਾਰਕ ਤਬਦੀਲੀਆਂ ਕੀਤੀਆਂ:
- ਮਾਡਲ ਨੂੰ ਰੈਜ਼ੀਡੈਂਟ ਰੱਖੋ – ਹੋਸਟ ਨੂੰ ਮੈਮੋਰੀ ਵਿੱਚ ਮਾਡਲ ਨੂੰ ਰੱਖਣ ਲਈ ਐਡਜਸਟ ਕੀਤਾ, ਜਿਸ ਨਾਲ ਰੀਲੋਡ ਦੀ ਦੇਰੀ ਖਤਮ ਹੋ ਗਈ।
- ਟਾਈਮਆਊਟ ਵਧਾਓ – ਕਦੇ-ਕਦੇ ਹੋਣ ਵਾਲੇ ਹੌਲੀ ਲੋਡ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਰਿਸਪਾਂਸ ਵਿੰਡੋ ਨੂੰ ਵਧਾਇਆ।
- ਕਾਊਂਟਰ ਨੂੰ ਵੰਡੋ – ਸਿੰਗਲ “rejected by gate” ਮੈਟ੍ਰਿਕ ਨੂੰ ਚਾਰ ਵੱਖ-ਵੱਖ ਕਾਊਂਟਰਾਂ ਨਾਲ ਬਦਲ ਦਿੱਤਾ: accepted, rejected, empty response, ਅਤੇ no answer।
ਤੀਜਾ ਕਦਮ ਨਿਰਣਾਇਕ ਸਾਬਤ ਹੋਇਆ। ਇੱਕ ਸਿੰਗਲ ਨੰਬਰ ਦੀ ਬਜਾਏ ਜਿਸ ਨੂੰ ਕਿਸੇ ਵੀ ਤਰ੍ਹਾਂ ਪੜ੍ਹਿਆ ਜਾ ਸਕਦਾ ਸੀ, ਚਾਰ-ਭਾਗਾਂ ਵਾਲਾ ਵੇਰਵਾ ਇਹ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਸੇਫਟੀ ਗੇਟ ਸਰਗਰਮ ਹੈ, ਮਾਡਲ ਜਵਾਬ ਦੇ ਰਿਹਾ ਹੈ, ਜਾਂ ਰਿਕਵੈਸਟ ਮਾਡਲ ਤੱਕ ਪਹੁੰਚੀ ਹੀ ਨਹੀਂ।
ਟ੍ਰੇਡ-ਆਫਸ ਅਤੇ ਵਿਰੋਧੀ ਦਲੀਲਾਂ
ਅੱਗੇ ਕੀ ਦੇਖਣਾ ਹੈ
AI ਕੰਪੋਨੈਂਟਸ ਲਾਂਚ ਕਰਨ ਵਾਲੇ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਕਿਸੇ ਵੀ ਅਗਰੀਗ੍ਰੇਟਿਡ ਕਾਊਂਟਰਾਂ ਦੀ ਜਾਂਚ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ ਜੋ ਸੇਫਟੀ ਚੈੱਕ ਨੂੰ ਸਿਸਟਮ-ਲੈਵਲ ਦੀਆਂ ਅਸਫਲਤਾਵਾਂ ਨਾਲ ਮਿਲਾਉਂਦੇ ਹਨ। ਇੱਕ ਵਿਸਤ੍ਰਿਤ ਹਿਸਟਰੀ ਲੌਗ ਬਣਾਉਣਾ ਜੋ ਹਰ ਰਿਕਵੈਸਟ ਦੇ ਰਸਤੇ ਨੂੰ ਰਿਕਾਰਡ ਕਰਦਾ ਹੈ—ਮਾਡਲ ਲੋਡ ਸ਼ੁਰੂਆਤ, ਗੇਟ ਮੁਲਾਂਕਣ, ਅੰਤਿਮ ਨਤੀਜਾ—ਛੁਪੀਆਂ ਸਮੱਸਿਆਵਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣ ਲਈ ਲੋੜੀਂਦਾ ਫੋਰੈਂਸਿਕ ਡੇਟਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਸਿੱਖਿਆ: ਇੱਕ ਸਿੰਗਲ “gate-rejection” ਮੈਟ੍ਰਿਕ ਇੱਕ ਬੰਦ AI ਸੇਵਾ ਨੂੰ ਛੁਪਾ ਸਕਦਾ ਹੈ; ਉਸ ਮੈਟ੍ਰਿਕ ਨੂੰ ਇਸਦੇ ਗਠਨ ਦੀਆਂ ਘਟਨਾਵਾਂ ਵਿੱਚ ਵੰਡਣ ਨਾਲ ਸੱਚਾਈ ਸਾਹਮਣੇ ਆਉਂਦੀ ਹੈ ਅਤੇ ਅਜਿਹੇ ਸਿਸਟਮ ਵਿੱਚ ਝੂਠੇ ਭਰੋਸੇ ਤੋਂ ਬਚਾਅ ਹੁੰਦਾ ਹੈ ਜੋ ਅਸਲ ਵਿੱਚ ਕੰਮ ਨਹੀਂ ਕਰ ਰਿਹਾ।