Hiring algorithms were supposed to strip away human inconsistency. Feed a model enough resumes, and it would judge stric

ਭਰਤੀ ਕਰਨ ਵਾਲੇ ਐਲਗੋਰਿਦਮਾਂ ਦਾ ਮਕਸਦ ਮਨੁੱਖੀ ਅਸੰਗਤਤਾ ਨੂੰ ਖਤਮ ਕਰਨਾ ਸੀ। ਜੇਕਰ ਕਿਸੇ ਮਾਡਲ ਨੂੰ ਕਾਫ਼ੀ ਸਾਰੀਆਂ ਰੈਜ਼ਿਊਮੇ (resumes) ਦਿੱਤੀਆਂ ਜਾਣ, ਤਾਂ ਉਹ ਸਿਰਫ਼ ਯੋਗਤਾਵਾਂ ਦੇ ਅਧਾਰ 'ਤੇ ਸਖ਼ਤ ਫੈਸਲਾ ਕਰੇਗਾ। ਪਰ ਹਕੀਕਤ ਇਸ ਤੋਂ ਕਿਤੇ ਜ਼ਿਆਦਾ ਉਲਝੀ ਹੋਈ ਨਿਕਲ ਰਹੀ ਹੈ। ਪ੍ਰਿੰਸਟਨ ਯੂਨੀਵਰਸਿਟੀ ਅਤੇ ਯੂਨੀਵਰਸਿਟੀ ਆਫ ਚਿਕਾਗੋ ਦਾ ਇੱਕ ਨਵਾਂ ਅਧਿਐਨ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਲਾਰਜ ਲੈਂਗੂਏਜ ਮਾਡਲ ਨਾ ਸਿਰਫ਼ ਪੁਰਾਣੇ ਪੱਖਪਾਤਾਂ ਨੂੰ ਦੁਹਰਾਉਂਦੇ ਹਨ, ਸਗੋਂ ਉਹ ਸ਼ੁੱਧ ਹਵਾ ਵਿੱਚੋਂ ਨਵੇਂ ਰੂੜੀਵਾਦੀ ਵਿਚਾਰ (stereotypes) ਵੀ ਤਿਆਰ ਕਰਦੇ ਹਨ, ਅਤੇ ਮਾਡਲ ਜਿੰਨਾ ਸਮਾਰਟ ਹੁੰਦਾ ਹੈ, ਇਹ ਪ੍ਰਕਿਰਿਆ ਉਨੀ ਹੀ ਤੇਜ਼ੀ ਨਾਲ ਹੁੰਦੀ ਹੈ।

ਪ੍ਰਯੋਗ ਕਿਵੇਂ ਕੀਤਾ ਗਿਆ

ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਪੱਖਪਾਤ ਨੂੰ ਅਸਲ ਸਮੇਂ ਵਿੱਚ ਬਣਦੇ ਦੇਖਣ ਲਈ ਇੱਕ ਨਕਲੀ ਲੇਬਰ ਮਾਰਕੀਟ ਬਣਾਈ। ਉਨ੍ਹਾਂ ਨੇ ਚਾਰ ਕਾਲਪਨਿਕ ਨਸਲੀ ਸਮੂਹ—Tufa, Aima, Reku, ਅਤੇ Weki—ਵਿਆਖਿਆ ਕੀਤੇ ਅਤੇ ChatGPT, Claude, ਅਤੇ Gemini ਦੇ ਵੱਖ-ਵੱਖ ਵਰਜ਼ਨਾਂ ਨੂੰ ਵੀਹ ਵੱਖ-ਵੱਖ ਨੌਕਰੀਆਂ ਲਈ ਸਟਾਫ ਰੱਖਣ ਦਾ ਕੰਮ ਸੌਂਪਿਆ। ਇਸ ਸੂਚੀ ਵਿੱਚ ਡਾਕਟਰਾਂ ਅਤੇ ਇੰਜੀਨੀਅਰਾਂ ਤੋਂ ਲੈ ਕੇ ਸਫਾਈ ਕਰਮਚਾਰੀਆਂ ਤੱਕ ਸਭ ਸ਼ਾਮਲ ਸਨ। ਇੱਥੇ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਵੇਰਵਾ ਹੈ: ਪਰਦੇ ਦੇ ਪਿੱਛੇ, ਹਰ ਉਮੀਦਵਾਰ ਦੀ ਸਫਲਤਾ ਦੀ ਸੰਭਾਵਨਾ ਅੰਕੜਾਤਮਕ ਤੌਰ 'ਤੇ ਬਿਲਕੁਲ ਬਰਾਬਰ ਸੀ। ਇੱਕ Weki ਦੇ ਡਾਕਟਰ ਵਜੋਂ ਕਾਮਯਾਬ ਹੋਣ ਦੀ ਸੰਭਾਵਨਾ ਬਿਲਕੁਲ ਉਨੀ ਹੀ ਸੀ ਜਿੰਨੀ ਇੱਕ Tufa ਦੀ। ਗਣਿਤਕ ਤੌਰ 'ਤੇ ਸਭ ਕੁਝ ਨਿਰਪੱਖ ਸੀ।

ਪਰ ਜੋ ਨਤੀਜਾ ਨਿਕਲਿਆ ਉਹ ਨਿਰਪੱਖਤਾ ਨਹੀਂ ਸੀ। ਹਰੇਕ ਭਰਤੀ ਦੇ ਦੌਰ ਤੋਂ ਬਾਅਦ, ਮਾਡਲਾਂ ਨੂੰ ਸਧਾਰਨ ਫੀਡਬੈਕ ਮਿਲਿਆ ਕਿ ਉਨ੍ਹਾਂ ਦੁਆਰਾ ਚੁਣਿਆ ਗਿਆ ਉਮੀਦਵਾਰ ਸਫਲ ਰਿਹਾ ਜਾਂ ਅਸਫਲ। ਜਦੋਂ ਇੱਕ Aima ਉਮੀਦਵਾਰ ਇੱਕ ਉੱਚੇ ਦਰਜੇ ਦੀ ਭੂਮਿਕਾ ਵਿੱਚ ਇੱਕ ਵਾਰ ਅਸਫਲ ਰਿਹਾ, ਤਾਂ ਮਾਡਲ ਨੇ ਇਸਨੂੰ ਕਿਸੇ ਅਚਾਨਕ ਹੋਈ ਗਲਤੀ ਵਜੋਂ ਨਹੀਂ ਲਿਆ। ਉਸਨੇ ਇਸਨੂੰ ਇੱਕ ਨਿਯਮ ਵਜੋਂ ਮੰਨ ਲਿਆ। ਸਿਸਟਮ ਨੇ ਤੇਜ਼ੀ ਨਾਲ Aima ਉਮੀਦਵਾਰਾਂ ਨੂੰ ਸਫਾਈ ਵਰਗੇ ਘੱਟ ਦਰਜੇ ਦੇ ਅਹੁਦਿਆਂ ਤੱਕ ਸੀਮਤ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ। ਇੱਕ ਡੇਟਾ ਪੁਆਇੰਟ ਹੀ ਕਿਸਮਤ ਬਣ ਗਿਆ। AI ਨੇ ਇੱਕ ਅਜਿਹੀ ਲੜੀ (hierarchy) ਬਣਾ ਲਈ ਸੀ ਜੋ ਕਿਸੇ ਮਨੁੱਖੀ ਪ੍ਰੋਗਰਾਮਰ ਨੇ ਨਹੀਂ ਲਿਖੀ ਸੀ ਅਤੇ ਨਾ ਹੀ ਕਿਸੇ ਇਤਿਹਾਸਕ ਡੇਟਾ ਵਿੱਚ ਮੌਜੂਦ ਸੀ।

ਜਦੋਂ ਸਮਾਰਟ ਮਾਡਲ ਗਲਤ ਆਮਕਰਨ ਕਰਦੇ ਹਨ

ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਵੱਖਰੇਕਰਨ (segregation) ਦੇ ਇੱਕ ਪੈਮਾਨੇ 'ਤੇ ਨਤੀਜਿਆਂ ਨੂੰ ਮਾਪਿਆ, ਜਿੱਥੇ 2.0 ਦਾ ਮਤਲਬ ਕਿਸੇ ਸਮੂਹ ਨੂੰ ਇੱਕੋ ਖਾਸ ਖੇਤਰ ਤੱਕ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸੀਮਤ ਕਰਨਾ ਹੈ। ਪਿਛਲੇ ਮਨੋਵਿਗਿਆਨਕ ਅਧਿਐਨਾਂ ਵਿੱਚ ਮਨੁੱਖੀ ਭਾਗੀਦਾਰਾਂ ਦਾ ਸਕੋਰ 0.84 ਸੀ। ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੇ ਉਸ ਮਿਆਰ ਨੂੰ ਪਿੱਛੇ ਛੱਡ ਦਿੱਤਾ। OpenAI ਦਾ ਰੀਜ਼ਨਿੰਗ ਮਾਡਲ, o3, 1.83 'ਤੇ ਪਹੁੰਚ ਗਿਆ—ਜੋ ਲਗਭਗ ਪੂਰਨ ਵੱਖਰੇਕਰਨ ਸੀ।

ਇਹ 'ਐਕਸਪਲੋਰੇਸ਼ਨ-ਐਕਸਪਲੋਇਟੇਸ਼ਨ' (exploration-exploitation) ਦੀ ਦੁਬਿਧਾ ਹੈ ਜੋ ਬੇਕਾਬੂ ਹੋ ਰਹੀ ਹੈ। ਇਹ ਸਿਸਟਮ ਗਣਿਤ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ, ਕੋਡਿੰਗ ਚੁਣੌਤੀਆਂ ਅਤੇ ਤਰਕ ਵਾਲੀਆਂ ਪਹੇਲੀਆਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ। ਇਹ ਖੇਤਰ ਬਹੁਤ ਘੱਟ ਸਬੂਤਾਂ ਤੋਂ ਸਹੀ ਸਿੱਟੇ 'ਤੇ ਪਹੁੰਚਣ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਦੇ ਹਨ। ਪੈਟਰਨ ਦੀ ਪਛਾਣ ਕਰੋ। ਇਸ ਨੂੰ ਪੱਕਾ ਕਰੋ। ਤੇਜ਼ੀ ਨਾਲ ਅੱਗੇ ਵਧੋ। ਜਦੋਂ ਤੁਸੀਂ ਇਹੀ ਪ੍ਰਤੀਵਰਤਨ (reflex) ਲੋਕਾਂ 'ਤੇ ਲਾਗੂ ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ ਇੱਕ ਅਸਫਲ ਭਰਤੀ ਦੇ ਅਧਾਰ 'ਤੇ ਨਸਲੀ ਵੱਖਰੇਕਰਨ ਮਿਲਦਾ ਹੈ।

ਇਸ ਤੋਂ ਵੀ ਮਾੜੀ ਗੱਲ ਇਹ ਹੈ ਕਿ ਜਿਵੇਂ-ਜਿਵੇਂ ਮਾਡਲ ਵਧੇਰੇ ਉੱਨਤ ਹੁੰਦੇ ਹਨ, ਇਹ ਪੈਟਰਨ ਹੋਰ ਵੀ ਗੂੜ੍ਹਾ ਹੁੰਦਾ ਜਾਂਦਾ ਹੈ। OpenAI ਦੇ o3 ਅਤੇ DeepSeek ਦੇ R1 ਵਰਗੇ ਨਵੇਂ ਉੱਚ-ਤਕਨੀਕੀ ਸੋਚਣ ਵਾਲੇ ਸਿਸਟਮਾਂ ਵਿੱਚ ਵਧੇਰੇ ਪੱਖਪਾਤ ਦੇਖਿਆ ਗਿਆ ਕਿਉਂਕਿ ਉਹ ਬਹੁਤ ਜਲਦੀ ਆਮਕਰਨ (generalization) ਕਰਨ ਦੇ ਚਾਹਵਾਨ ਹਨ। ਉਹ ਸ਼ੁਰੂਆਤੀ ਰੂਲਾਂ ਬਣਾ ਕੇ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਸੁਧਾਰ ਕੇ ਆਪਣੇ ਨਤੀਜਿਆਂ ਨੂੰ ਅਨੁਕੂਲਿਤ ਕਰਦੇ ਹਨ। ਜਦੋਂ ਵਿਸ਼ਾ ਮਨੁੱਖੀ ਹੁੰਦੇ ਹਨ, ਤਾਂ ਇਹ ਭਰੋਸਾ ਇੱਕ ਮੁਸੀਬਤ ਬਣ ਜਾਂਦਾ ਹੈ। ਮਾਡਲ ਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਉਸਨੇ Aima ਸਮੂਹ ਬਾਰੇ ਕੋਈ ਸੱਚਾਈ ਲੱਭ ਲਈ ਹੈ। ਅਸਲ ਵਿੱਚ, ਉਸਨੇ ਇੱਕ ਇਕੱਲੇ ਅਪਵਾਦ (outlier) ਤੋਂ ਇੱਕ ਪਿੰਜਰਾ ਬਣਾ ਲਿਆ ਹੈ।

ਯਾਦਦਾਸ਼ਤ ਦਾ ਜਾਲ

ਇਹ ਅਧਿਐਨ ਇੱਕ ਅਜਿਹੇ ਸਮੇਂ ਆਇਆ ਹੈ ਜਦੋਂ ਉਦਯੋਗ ਤੇਜ਼ੀ ਨਾਲ "ਏਜੈਂਟਿਕ" (agentic) AI ਵੱਲ ਵਧ ਰਿਹਾ ਹੈ—ਅਜਿਹੇ ਸਿਸਟਮ ਜੋ ਲੰਬੇ ਸਮੇਂ ਦੀ ਯਾਦਦਾਸ਼ਤ ਰੱਖਦੇ ਹਨ, ਵਿਸਤ੍ਰਿਤ ਯੂਜ਼ਰ ਪ੍ਰੋਫਾਈਲ ਬਣਾਉਂਦੇ ਹਨ, ਅਤੇ ਮਹੀਨਿਆਂ ਜਾਂ ਸਾਲਾਂ ਦੌਰਾਨ ਫੈਸਲਿਆਂ ਨੂੰ ਨਿੱਜੀ ਬਣਾਉਂਦੇ ਹਨ। ਕਾਰਨਲ ਯੂਨੀਵਰਸਿਟੀ ਦੀ ਕੰਪਿਊਟਰ ਵਿਗਿਆਨੀ ਐਂਜਲੀਨਾ ਵਾਂਗ ਚੇਤਾਵਨੀ ਦਿੰਦੀ ਹੈ ਕਿ ਬਿਹਤਰ ਯਾਦਦਾਸ਼ਤ ਮਾਡਲਾਂ ਨੂੰ ਪਿਛਲੀਆਂ ਗੱਲਬਾਤਾਂ 'ਤੇ "ਬਹੁਤ ਜ਼ਿਆਦਾ ਜ਼ੋਰ" (over-index) ਦੇਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ। ਇੱਕ ਸਿੰਗਲ ਨਕਾਰਾਤਮਕ ਅਪਵਾਦ—ਇੱਕ ਰੱਦ ਕੀਤਾ ਗਿਆ ਲੋਨ, ਇੱਕ ਕੰਮ ਤੋਂ ਕੱਢਿਆ ਗਿਆ ਕਰਮਚਾਰੀ, ਇੱਕ ਫਲੈਗ ਕੀਤੀ ਗਈ ਅਰਜ਼ੀ—ਇੱਕ ਸਥਾਈ ਅੰਦਾਜ਼ੇ ਵਿੱਚ ਬਦਲ ਜਾਂਦਾ ਹੈ। ਪੱਖਪਾਤ ਸਮੇਂ ਦੇ ਨਾਲ ਘਟਦਾ ਨਹੀਂ; ਇਹ ਹੋਰ ਸਖ਼ਤ ਹੋ ਜਾਂਦਾ ਹੈ। ਉਹ ਵਿਸ਼ੇਸ਼ਤਾ ਜੋ AI ਨੂੰ ਵਧੇਰੇ ਮਦਦਗਾਰ ਅਤੇ ਸੰਦਰਭ-ਜਾਣੂ ਬਣਾਉਣ ਲਈ ਬਣਾਈ ਗਈ ਸੀ, ਉਹ ਇਸਨੂੰ ਹੋਰ ਜ਼ਿੱਦੀ ਤੌਰ 'ਤੇ ਅਣਨਿਰਪੱਖ ਵੀ ਬਣਾ ਸਕਦੀ ਹੈ।

ਅਸਲ ਵਿੱਚ ਸਮੱਸਿਆ ਦਾ ਹੱਲ ਕੀ ਹੈ

ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਕਈ ਸੁਰੱਖਿਆ ਪ੍ਰਬੰਧਾਂ (guardrails) ਦਾ ਪ੍ਰੀਖਣ ਕੀਤਾ, ਅਤੇ ਨਤੀਜੇ ਨਿਮਰ ਕਰਨ ਵਾਲੇ ਸਨ।

ਮਾਡਲ ਨੂੰ ਸਿਰਫ਼ "ਨਿਰਪੱਖ ਹੋਣ" ਲਈ ਕਹਿਣ ਨਾਲ ਲਗਭਗ ਕੁਝ ਵੀ ਨਹੀਂ ਹੋਇਆ। ਇਹ ਨਿਰਦੇਸ਼ ਉੱਥੇ ਸਿਰਫ਼ ਇੱਕ ਸਜਾਵਟ ਵਾਂਗ ਰਿਹਾ ਜਦੋਂ ਕਿ ਅੰਦਰੂਨੀ ਆਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਇੰਜਣ ਆਪਣੇ ਅਸਲ ਟੀਚੇ ਵੱਲ ਵਧ ਰਿਹਾ ਸੀ: ਸਫਲ ਭਰਤੀਆਂ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰਨਾ। ਬੇਨਤੀ 'ਤੇ ਅਪਣਾਈ ਗਈ ਨੈਤਿਕਤਾ ਅਸਲ ਵਿੱਚ ਅਣਗੌਲੀ ਕੀਤੀ ਗਈ ਨੈਤਿਕਤਾ ਹੈ।

ਜੋ ਹੱਲ ਕੰਮ ਕਰ ਗਿਆ ਉਹ ਸੰਰਚਨਾਤਮਕ ਸੀ। ਜਦੋਂ ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਮਾਡਲਾਂ ਨੂੰ ਵਿਭਿੰਨ ਭਰਤੀ ਨਤੀਜਿਆਂ ਨੂੰ ਬਣਾਈ ਰੱਖਣ ਲਈ ਇੱਕ ਵਾਧੂ ਗਣਿਤਕ ਬੋਨਸ ਦਿੱਤਾ, ਤਾਂ ਵੱਖਰੇਕਰਨ ਵਿੱਚ ਕਾਫ਼ੀ ਕਮੀ ਆਈ। ਸਮਾਜਿਕ ਮੁੱਲ ਨੂੰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਰਿਵਾਰਡ ਫੰਕਸ਼ਨ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰਨਾ ਪਿਆ, ਨਾ ਕਿ ਇਸਨੂੰ ਬਾਅਦ ਵਿੱਚ ਜੋੜਿਆ ਗਿਆ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਮਾਡਲ ਨੂੰ ਨਿਰਪੱਖਤਾ ਦੇ ਪ੍ਰੇਰਨਾ ਨੂੰ ਆਪਣੇ ਗਣਿਤ ਵਿੱਚ ਮਹਿਸੂਸ ਕਰਨਾ ਪਿਆ, ਨਾ ਕਿ ਸਿਰਫ਼ ਆਪਣੇ ਨਿਰਦੇਸ਼ਾਂ ਵਿੱਚ ਪੜ੍ਹਨਾ।

ਡਾਟਾ ਹਾਈਜੀਨ (Data hygiene) ਵੀ ਮਹੱਤਵਪੂਰਨ ਸੀ। ਢੁਕਵਾਂ ਨਿੱਜੀ ਸੰਦਰਭ ਪ੍ਰਦਾਨ ਕਰਨਾ—ਜਿਵੇਂ ਕਿ ਉਮਰ, ਸਿੱਖਿਆ, ਤਜ਼ਰਬੇ ਦੇ ਸਾਲ—ਮਾਡਲਾਂ ਨੂੰ ਤੋਲਣ ਲਈ ਜਾਇਜ਼ ਸੰਕੇਤ ਦਿੱਤੇ, ਜਿਸ ਨਾਲ ਨਸਲੀ ਰੂੜੀਵਾਦ 'ਤੇ ਉਹਨਾਂ ਦੀ ਨਿਰਭਰਤਾ ਘਟ ਗਈ। ਪਰ ਜੇਕਰ ਵਾਲਾਂ ਦਾ ਰੰਗ ਵਰਗੀਆਂ ਅਣਪ੍ਰਸੰਗਿਕ ਜਾਣਕਾਰੀਆਂ ਸ਼ਾਮਲ ਕਰ ਦਿੱਤੀਆਂ ਜਾਣ, ਤਾਂ ਸਿਸਟਮ ਉਹਨਾਂ ਨੂੰ ਸਮੂਹ-ਅਧਾਰਤ ਵਰਗੀਕਰਨ (group-based sorting) ਵੱਲ ਵਾਪਸ ਜਾਣ ਦੇ ਬਹਾਨੇ ਵਜੋਂ ਵਰਤ ਲੈਂਦੇ ਹਨ। ਜ਼ਿਆਦਾ ਜਾਣਕਾਰੀ ਹਮੇਸ਼ਾ ਚੰਗੀ ਨਹੀਂ ਹੁੰਦੀ। ਇਹ ਪੂਰੀ ਤਰ੍ਹਾਂ ਇਸ ਗੱਲ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਉਹ ਜਾਣਕਾਰੀ ਕੀ ਹੈ ਅਤੇ ਕੀ ਇਹ ਮਾਡਲ ਨੂੰ ਉਸਦੇ ਅਨੁਕੂਲਨ (optimization) ਟੀਚੇ ਲਈ ਕੋਈ ਬਦਲਵਾਂ ਰਸਤਾ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ।

ਅਗਲਾ ਰਾਹ

ਇਹ ਸਭ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਇਹ ਸਿਸਟਮ ਸਿਰਫ਼ ਚੈਟ ਵਿੰਡੋਜ਼ ਤੱਕ ਹੀ ਸੀਮਤ ਨਹੀਂ ਰਹਿ ਰਹੇ ਹਨ। ਇਹੀ ਆਰਕੀਟੈਕਚਰ ਕਰਜ਼ੇ ਦੀ ਮਨਜ਼ੂਰੀ, ਪੈਰੋਲ ਦੀਆਂ ਸਿਫ਼ਾਰਸ਼ਾਂ, ਅਤੇ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਵਰਕਫੋਰਸ ਪ੍ਰਬੰਧਨ ਦੇ ਫੈਸਲਿਆਂ ਲਈ ਲਾਗੂ ਕੀਤੇ ਜਾ ਰਹੇ ਹਨ, ਜਾਂ ਸਰਗਰਮੀ ਨਾਲ ਤਿਆਰ ਕੀਤੇ ਜਾ ਰਹੇ ਹਨ। ਖੋਜਕਰਤਾ “ਨਵੇਂ ਪੱਖਪਾਤਾਂ” (novel biases) ਬਾਰੇ ਚੇਤਾਵਨੀ ਦਿੰਦੇ ਹਨ—ਅਜਿਹੇ ਪੱਖਪਾਤ ਜੋ ਕਿਸੇ ਇਨਸਾਨ ਨੇ ਕਦੇ ਨਹੀਂ ਰੱਖੇ ਅਤੇ ਕਿਸੇ ਇਤਿਹਾਸਕ ਡੇਟਾਸੈੱਟ ਵਿੱਚ ਦਰਜ ਨਹੀਂ ਕੀਤੇ, ਪਰ AI ਨੇ ਕੁਸ਼ਲਤਾ (efficiency) ਦੀ ਭਾਲ ਕਰਦੇ ਹੋਏ ਆਪਣੇ ਆਪ ਲਈ ਤਿਆਰ ਕਰ ਲਏ ਹਨ।

ਅਣਸੁਖਾਵੀ ਸੱਚਾਈ ਇਹ ਹੈ ਕਿ ਕੱਚੀ ਤਰਕ ਸ਼ਕਤੀ (raw reasoning ability) ਅਤੇ ਸਮਾਜਿਕ ਨਿਰਪੱਖਤਾ ਇੱਕ ਦੂਜੇ ਦੇ ਉਲਟ ਦਿਸ਼ਾਵਾਂ ਵਿੱਚ ਖਿੱਚ ਸਕਦੇ ਹਨ। ਇੱਕ ਮਾਡਲ ਜੋ ਸਹੀ ਉੱਤਰ ਤੱਕ ਸਭ ਤੋਂ ਛੋਟਾ ਰਸਤਾ ਲੱਭਣ ਲਈ ਅਨੁਕੂਲਿਤ (optimized) ਹੈ, ਉਹ ਲੋਕਾਂ ਬਾਰੇ ਗਲਤ ਅੰਦਾਜ਼ੇ ਲਗਾਉਣ ਦਾ ਸਭ ਤੋਂ ਛੋਟਾ ਰਸਤਾ ਵੀ ਖੁਸ਼ੀ-ਖੁਸ਼ੀ ਲੱਭ ਲਵੇਗਾ। ਨਿਰਪੱਖ ਸਿਸਟਮ ਬਣਾਉਣ ਦਾ ਮਤਲਬ ਸਿਰਫ਼ ਨਿਮਰਤਾ ਨਾਲ ਪੁੱਛਣਾ ਨਹੀਂ ਹੋਵੇਗਾ। ਇਸਦਾ ਮਤਲਬ ਉਦੇਸ਼ਾਂ ਨੂੰ ਮੁੜ ਡਿਜ਼ਾਈਨ ਕਰਨਾ, ਫੀਡਬੈਕ ਲੂਪਸ ਦੀ ਜਾਂਚ ਕਰਨਾ, ਅਤੇ ਇਹ ਸਵੀਕਾਰ ਕਰਨਾ ਹੋਵੇਗਾ ਕਿ ਕੁਝ ਆਮਕਰਨ (generalizations)—ਜਿਹੜੇ ਇੱਕ ਗਲਤੀ ਤੋਂ ਬਾਅਦ ਮਨੁੱਖਾਂ ਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਸ਼੍ਰੇਣੀ ਤੱਕ ਸੀਮਤ ਕਰ ਦਿੰਦੇ ਹਨ—ਉਹਨਾਂ ਨੂੰ ਕਦੇ ਵੀ ਬਣਨ ਦੀ ਇਜਾਜ਼ਤ ਨਹੀਂ ਦਿੱਤੀ ਜਾਣੀ ਚਾਹੀਦੀ। ਜੇਕਰ ਅਸੀਂ ਚਾਹੁੰਦੇ ਹਾਂ ਕਿ AI ਉਮੀਦਵਾਰਾਂ ਦਾ ਨਿਰਪੱਖਤਾ ਨਾਲ ਫੈਸਲਾ ਕਰੇ, ਤਾਂ ਸਾਨੂੰ ਨਿਰਪੱਖਤਾ ਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਸੁਝਾਅ ਵਜੋਂ ਦੇਖਣਾ ਬੰਦ ਕਰਨਾ ਹੋਵੇਗਾ ਅਤੇ ਇਸਨੂੰ ਇੱਕ ਸਖ਼ਤ ਨਿਯਮ (hard constraint) ਵਜੋਂ ਕੋਡ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰਨਾ ਹੋਵੇਗਾ। ਇਸ ਤੋਂ ਘੱਟ ਕੁਝ ਵੀ ਹੋਇਆ, ਤਾਂ ਮਸ਼ੀਨਾਂ ਆਪਣੇ ਅਨੁਕੂਲਨ ਦੇ ਰਾਹ ਰਾਹੀਂ ਸਿੱਧੇ ਪੱਖਪਾਤ ਵੱਲ ਵਧ ਜਾਣਗੀਆਂ।