ਇੱਕ AI-ਸੰਚਾਲਿਤ ਸਹਾਇਕ (assistant) ਨੇ ਸੱਤ ਦਿਨਾਂ ਲਈ ਮੇਰੀਆਂ on-call ਡਿਊਟੀਆਂ ਸੰਭਾਲੀਆਂ, 11 ਅਲਰਟਾਂ (alerts) ਨੂੰ ਪ੍ਰੋਸੈਸ ਕੀਤਾ ਅਤੇ ਸਮੱਸਿਆ ਨੂੰ ਸੁਧਾਰਨ ਲਈ ਮੇਰੇ ਔਸਤ ਸਮੇਂ ਨੂੰ 45 ਮਿੰਟਾਂ ਤੋਂ ਘਟਾ ਕੇ 20 ਮਿੰਟਾਂ 'ਤੇ ਲਿਆ ਆਇਆ। ਇਹ ਪ੍ਰਯੋਗ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਇੱਕ ਸੀਮਤ ਦਾਇਰੇ ਵਾਲਾ ਲੈਂਗੂਏਜ ਮਾਡਲ (language model) ਸਖ਼ਤ ਮਨੁੱਖੀ ਨਿਗਰਾਨੀ ਦੇ ਬਾਵਜੂਦ ਇੰਸੀਡੈਂਟ ਰਿਸਪਾਂਸ (incident response) ਦੇ ਸਮੇਂ ਨੂੰ ਅੱਧਾ ਘਟਾ ਸਕਦਾ ਹੈ।
ਮੈਂ AI ਨੂੰ on-call ਕਿਉਂ ਰੱਖਿਆ
ਕਲਾਉਡ ਟੀਮਾਂ ਆਪਣੀ ਸ਼ਿਫਟ ਦਾ ਜ਼ਿਆਦਾਤਰ ਸਮਾਂ ਲੌਗਸ (logs) ਦੀ ਜਾਂਚ ਕਰਨ, ਹਾਲੀਆ ਡਿਪਲਾਈਮੈਂਟਸ (deployments) ਦੀ ਜਾਂਚ ਕਰਨ ਅਤੇ ਇਹ ਪੁਸ਼ਟੀ ਕਰਨ ਵਿੱਚ ਬਿਤਾਉਂਦੀਆਂ ਹਨ ਕਿ ਕੀ ਸਕੈਲਿੰਗ ਦੀ ਬੇਨਤੀ ਸੁਰੱਖਿਅਤ ਹੈ। ਉਹ "ਬੋਰਿੰਗ" ਕੰਮ ਦੁਹਰਾਉਣਯੋਗ, ਡੇਟਾ-ਭਾਰੀ ਅਤੇ ਮਨੁੱਖੀ ਥਕਾਵਟ ਕਾਰਨ ਗਲਤੀਆਂ ਵਾਲੇ ਹੁੰਦੇ ਹਨ। ਲਾਰਜ ਲੈਂਗੂਏਜ ਮਾਡਲਾਂ (large language models) ਵਿੱਚ ਹੋਈਆਂ ਤਾਜ਼ਾ ਤਰੱਕੀਆਂ ਨੇ ਬਿਲਕੁਲ ਇਸੇ ਤਰ੍ਹਾਂ ਦੇ ਪੈਟਰਨ-ਮੈਚਿੰਗ ਕੰਮ ਨੂੰ ਆਟੋਮੇਟ ਕਰਨ ਦਾ ਵਾਅਦਾ ਕੀਤਾ ਹੈ, ਪਰ ਜ਼ਿਆਦਾਤਰ ਜਨਤਕ ਡੈਮੋ ਸੈਂਡਬਾਕਸ (sandbox) ਵਾਤਾਵਰਣ ਵਿੱਚ ਚੱਲਦੇ ਹਨ। ਮੈਂ ਇਹ ਦੇਖਣਾ ਚਾਹੁੰਦਾ ਸੀ ਕਿ ਕੀ ਇਹ ਹਾਈਪ (hype) ਇੱਕ ਅਜਿਹੇ ਪ੍ਰੋਡਕਸ਼ਨ-ਗ੍ਰੇਡ ਕਲੱਸਟਰ (production-grade cluster) ਵਿੱਚ ਟਿਕ ਸਕਦੀ ਹੈ ਜੋ ਅਸਲ ਵਿੱਚ ਭੁਗਤਾਨ ਕਰਨ ਵਾਲੇ ਗਾਹਕਾਂ ਨੂੰ ਸੇਵਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਟੈਸਟ ਸੈੱਟਅੱਪ
- Access (ਪਹੁੰਚ) – ਏਜੰਟ ਹਰ ਮੈਟ੍ਰਿਕ (metric), ਲੌਗ (log) ਅਤੇ ਡਿਪਲਾਈਮੈਂਟ ਡੈਫੀਨੇਸ਼ਨ (deployment definition) ਨੂੰ ਪੜ੍ਹ ਸਕਦਾ ਸੀ। ਇਹ ਸਿਰਫ਼ ਇੱਕ ਸੀਮਤ ਵ੍ਹਾਈਟਲਿਸਟ (whitelist) ਤੱਕ ਹੀ ਲਿਖ ਸਕਦਾ ਸੀ: ਇੱਕ ਪੌਡ (pod) ਨੂੰ ਰੀਸਟਾਰਟ ਕਰਨਾ, ਰੈਪਲੀਕਾ ਕਾਊਂਟ (replica count) ਵਧਾਉਣਾ, ਜਾਂ ਕਿਸੇ ਡਿਪਲਾਈਮੈਂਟ ਨੂੰ ਸਕੇਲ ਕਰਨਾ। ਇਹਨਾਂ ਕਾਰਵਾਈਆਂ ਤੋਂ ਇਲਾਵਾ ਕਿਸੇ ਵੀ ਚੀਜ਼ ਲਈ ਮੇਰੀ ਸਪੱਸ਼ਟ ਮਨਜ਼ੂਰੀ ਦੀ ਲੋੜ ਸੀ।
- Role (ਭੂਮਿਕਾ) – ਮੈਂ ਮਾਡਲ ਨੂੰ ਆਪਣੀ ਪਹਿਲੀ on-call ਸ਼ਿਫਟ ਵਾਲੇ ਇੱਕ ਜੂਨੀਅਰ ਇੰਜੀਨੀਅਰ ਵਜੋਂ ਮੰਨਿਆ। ਇਸਨੂੰ ਅਲਰਟ ਮਿਲਦਾ ਸੀ, ਇਹ ਆਪਣਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਦਾ ਸੀ, ਅਤੇ ਇੰਸੀਡੈਂਟ ਚੈਨਲ (incident channel) ਵਿੱਚ ਇੱਕ ਸਿਫਾਰਸ਼ ਪੋਸਟ ਕਰਦਾ ਸੀ।
- Safety nets (ਸੁਰੱਖਿਆ ਜਾਲ) – ਸਾਰੀਆਂ ਲਿਖਣ ਵਾਲੀਆਂ ਕਾਰਵਾਈਆਂ (write actions) ਇੱਕ ਮੈਨੂਅਲ "ਹਾਂ/ਨਹੀਂ" ਪ੍ਰੋਂਪਟ ਰਾਹੀਂ ਰੋਕੀਆਂ ਗਈਆਂ ਸਨ। ਮੈਂ ਲਾਗਤ ਨੂੰ ਅਨੁਮਾਨਿਤ ਰੱਖਣ ਲਈ ਮਾਡਲ ਦੇ ਟੋਕਨ ਦੀ ਵਰਤੋਂ 'ਤੇ ਵੀ ਸੀਮਾ ਲਗਾਈ ਸੀ।
ਜਿੱਥੇ AI ਨੇ ਸ਼ਾਨਦਾਰ ਕੰਮ ਕੀਤਾ
ਏਜੰਟ ਦੀ ਰਫ਼ਤਾਰ ਸਭ ਤੋਂ ਵੱਧ ਨੋਟਿਸ ਕਰਨ ਯੋਗ ਫਾਇਦਾ ਸੀ। ਜਿਵੇਂ ਹੀ ਕੋਈ ਅਲਰਟ ਆਇਆ, ਇਸਨੇ ਸਬੰਧਤ ਲੌਗਸ ਇਕੱਠੇ ਕੀਤੇ, ਹਾਲੀਆ ਮੈਟ੍ਰਿਕਸ ਦਾ ਚਿੱਤਰ ਬਣਾਇਆ, ਅਤੇ ਆਖਰੀ ਤਿੰਨ ਡਿਪਲਾਈਮੈਂਟਸ ਦੀ ਸੂਚੀ ਬਣਾਈ। ਜਦੋਂ ਤੱਕ ਮੈਂ ਆਪਣਾ ਲੈਪਟਾਪ ਖੋਲ੍ਹਿਆ, ਸ਼ੁਰੂਆਤੀ ਜਾਂਚ ਪਹਿਲਾਂ ਹੀ ਹੋ ਚੁੱਕੀ ਸੀ। 11 ਅਲਰਟਾਂ ਵਿੱਚੋਂ:
- 8 ਰੁਟੀਨ ਸਮੱਸਿਆਵਾਂ ਸਨ (ਮੈਮੋਰੀ ਸਪਾਈਕਸ, ਕੰਟੇਨਰ ਰੀਸਟਾਰਟਸ, ਸਧਾਰਨ ਮਿਸ-ਕੰਫਿਗਰੇਸ਼ਨ)। AI ਨੇ ਹਰ ਵਾਰ ਸਹੀ ਤਰੀਕੇ ਨਾਲ ਮੂਲ ਕਾਰਨ (root cause) ਦੀ ਪਛਾਣ ਕੀਤੀ।
- ਇਸਨੇ ਮਾਈਕ੍ਰੋਸਰਵਿਸ ਵਿੱਚ ਮੈਮੋਰੀ ਦੇ ਹੌਲੀ-ਹੌਲੀ ਵਧਣ ਨੂੰ ਉਦੋਂ ਹੀ ਫਲੈਗ ਕਰ ਦਿੱਤਾ ਜਦੋਂ ਸਮੱਸਿਆ ਰਾਤ ਦੇ 2 ਵਜੇ ਦੇ ਆਊਟੇਜ (outage) ਵਿੱਚ ਬਦਲਣ ਵਾਲੀ ਸੀ, ਜਿਸ ਨਾਲ ਟੀਮ ਨੂੰ ਜਲਦੀ ਹਿੱਸਾ ਲੈਣ ਦਾ ਮੌਕਾ ਮਿਲਿਆ।
- ਪੂਰੇ ਹਫ਼ਤੇ ਲਈ ਟੋਕਨ ਦੀ ਖਪਤ ਲਗਭਗ $30 ਰਹੀ, ਜੋ ਕਿ ਸੀਮਾ ਲਗਾਈ ਜਾਣ 'ਤੇ ਆਮ on-call ਬਜਟ ਦੇ ਅੰਦਰ ਹੀ ਸੀ।
ਇਹ ਨਤੀਜੇ ਮੀਨ ਟਾਈਮ ਟੂ ਰੈਜ਼ੋਲਿਊਸ਼ਨ (MTTR) ਵਿੱਚ 45 ਮਿੰਟਾਂ ਤੋਂ 20 ਮਿੰਟਾਂ ਤੱਕ ਦੀ ਮਾਪਣਯੋਗ ਕਮੀ ਵਿੱਚ ਬਦਲਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਇੰਜੀਨੀਅਰਾਂ ਨੂੰ ਉੱਚ-ਪ੍ਰਭਾਵ ਵਾਲੇ ਕੰਮਾਂ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਨ ਲਈ ਆਜ਼ਾਦ ਕਰ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ।
ਜਿੱਥੇ ਇਹ ਅਸਫਲ ਰਿਹਾ
ਆਤਮ-ਵਿਸ਼ਵਾਸ ਦਾ ਮਤਲਬ ਸਹੀ ਹੋਣਾ ਨਹੀਂ ਹੈ। AI 11 ਵਿੱਚੋਂ 3 ਅਲਰਟਾਂ 'ਤੇ ਪੂਰੇ ਵਿਸ਼ਵਾਸ ਨਾਲ ਗਲਤ ਸੀ:
- ਇਸਨੇ ਡੇਟਾਬੇਸ ਕਨੈਕਟੀਵਿਟੀ ਫੇਲ੍ਹ ਹੋਣ ਲਈ ਹਾਲੀਆ ਕੋਡ ਡਿਪਲਾਈਮੈਂਟ ਨੂੰ ਜ਼ਿੰਮੇਵਾਰ ਠਹਿਰਾਇਆ, ਪਰ ਉਹ ਵਿਆਖਿਆ ਗਲਤ ਸੀ।
- ਜਦੋਂ ਕਿਸੇ ਅਣਜਾਣ ਨੈੱਟਵਰਕਿੰਗ ਅਨੋਮਲੀ (anomaly) ਦਾ ਸਾਹਮਣਾ ਹੋਇਆ, ਤਾਂ ਇਸਨੇ ਆਮ ਸੁਧਾਰ ਦੱਸੇ ਜੋ ਅਸਲ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਨਹੀਂ ਕਰ ਰਹੇ ਸਨ।
- ਲੋਡ ਨਾਲ ਸਬੰਧਤ ਅਲਰਟ ਦੌਰਾਨ, ਇਸਨੇ ਸਰਵਿਸ ਨੂੰ 3 ਤੋਂ 30 ਰੈਪਲੀਕਾ ਤੱਕ ਸਕੇਲ ਕਰਨ ਦਾ ਸੁਝਾਅ ਦਿੱਤਾ। ਸਮੱਸਿਆ ਲੋਡ ਨਹੀਂ ਸੀ; ਇੱਕ ਖਰਾਬ ਕੰਫਿਗਰੇਸ਼ਨ ਸੀ।
ਕਿਉਂਕਿ ਮੇਰੇ ਗਾਰਡਰੇਲਜ਼ (guardrails) ਵਿੱਚ ਕਿਸੇ ਵੀ ਲਿਖਣ ਵਾਲੀ ਕਾਰਵਾਈ ਲਈ ਮੈਨੂਅਲ ਮਨਜ਼ੂਰੀ ਦੀ ਲੋੜ ਸੀ, ਇਸ ਲਈ ਮਾਡਲ ਦੀਆਂ ਗਲਤੀਆਂ ਨੂੰ ਨੁਕਸਾਨ ਪਹੁੰਚਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਫੜ ਲਿਆ ਗਿਆ ਸੀ। ਫਿਰ ਵੀ, ਇਸ ਘਟਨਾ ਨੇ ਇੱਕ ਮੁੱਖ ਜੋਖਮ ਨੂੰ ਉਜਾਗਰ ਕੀਤਾ: ਮਾਡਲ ਵਿਸ਼ਵਾਸਯੋਗ ਲੱਗਣ ਵਾਲੇ ਪਰ ਗਲਤ ਸੁਝਾਅ ਦੇ ਸਕਦਾ ਹੈ, ਖਾਸ ਕਰਕੇ ਨਵੀਆਂ ਸਮੱਸਿਆਵਾਂ ਲਈ।
ਲਾਗਤ ਅਤੇ ਜੋਖਮ ਪ੍ਰਬੰਧਨ
$30 ਦਾ ਟੋਕਨ ਬਿੱਲ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਜੇਕਰ ਵਰਤੋਂ ਦੀ ਨਿਗਰਾਨੀ ਕੀਤੀ ਜਾਵੇ ਤਾਂ ਪ੍ਰੋਡਕਸ਼ਨ ਲੂਪ ਵਿੱਚ LLM ਚਲਾਉਣਾ ਸਸਤਾ ਹੋ ਸਕਦਾ ਹੈ। ਹਾਲਾਂਕਿ, ਅਸਲ ਲਾਗਤ ਸੰਚਾਲਨ ਜੋਖਮ (operational risk) ਹੈ। ਡਿਪਲਾਈਮੈਂਟ ਨੂੰ ਗਲਤ ਤਰੀਕੇ ਨਾਲ ਸਕੇਲ ਕਰਨਾ ਕਲਾਉਡ ਖਰਚੇ ਨੂੰ ਬੇਕਾਬੂ ਕਰ ਸਕਦਾ ਹੈ, ਅਤੇ ਇੱਕ ਚੰਗੇ ਰੀਲੀਜ਼ ਨੂੰ ਰੋਲਬੈਕ (rollback) ਕਰਨ
ਇੱਕ AI ਏਜੰਟ ਅਜੇ ਇਕੱਲੇ ਕਲਾਉਡ ਆਪਰੇਸ਼ਨ ਨਹੀਂ ਚਲਾ ਸਕਦਾ, ਪਰ ਇੱਕ ਟ੍ਰੀਏਜ ਪਾਰਟਨਰ ਵਜੋਂ, ਇਹ ਪਹਿਲਾਂ ਹੀ ਰਫ਼ਤਾਰ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਵਾਧਾ ਕਰ ਰਿਹਾ ਹੈ। ਮੁੱਖ ਗੱਲ ਇਹ ਹੈ ਕਿ ਭਰੋਸੇ ਨੂੰ ਕਾਬੂ ਵਿੱਚ ਰੱਖਿਆ ਜਾਵੇ, ਸਖ਼ਤ ਗਾਰਡਰੇਲਜ਼ ਲਾਗੂ ਕੀਤੇ ਜਾਣ, ਅਤੇ ਮਾਡਲ ਨੂੰ ਵਾਰ-ਵਾਰ ਕੀਤੇ ਜਾਣ ਵਾਲੇ ਮਿਹਨਤ ਵਾਲੇ ਕੰਮਾਂ ਨੂੰ ਸੰਭਾਲਣ ਦਿੱਤਾ ਜਾਵੇ, ਜਦੋਂ ਕਿ ਮਨੁੱਖੀ ਮੁਹਾਰਤ ਅਹਿਮ ਫੈਸਲਿਆਂ ਦੀ ਅਗਵਾਈ ਕਰੇ।