ਮੇਰੇ Bias Detector ਨੇ "No Info" ਵਿੱਚ Cherry-Picking ਲੱਭ ਲਈ

ਮੈਂ Biassemble ਨਾਮ ਦਾ ਇੱਕ ਪ੍ਰੋਜੈਕਟ ਬਣਾਇਆ।

ਇਸਦਾ ਮਕਸਦ ਸਰਲ ਹੈ। ਤੁਸੀਂ ਇਸਨੂੰ ਇੱਕ ਕਹਾਣੀ ਦਿੰਦੇ ਹੋ। ਇਹ ਸਵਾਲ ਪੁੱਛਦਾ ਹੈ। ਇਹ ਤੁਹਾਡੇ ਤਰਕ ਕਰਨ ਦੇ ਤਰੀਕੇ ਵਿੱਚ ਮਾਨਸਿਕ ਪੱਖਪਾਤ (cognitive biases) ਦੀ ਨਿਸ਼ਾਨਦੇਹੀ ਕਰਦਾ ਹੈ।

ਮੈਂ ਇਸਦਾ ਟੈਸਟ ਅੰਨਾ ਨਾਮ ਦੀ ਇੱਕ ਔਰਤ ਦੀ ਕਹਾਣੀ ਨਾਲ ਕੀਤਾ। ਉਸਦੀ ਕਹਾਣੀ ਵਿੱਚ ਸਿਰਫ਼ ਤੱਥ ਸਨ। ਉਸਨੇ ਕੌਫੀ ਪੀ। ਉਸਨੇ ਬੱਸ ਫੜੀ। ਉਹ ਆਪਣੇ ਦਫ਼ਤਰ ਤੱਕ ਪੈਦਲ ਗਈ। ਟੈਕਸਟ ਵਿੱਚ ਕੋਈ ਰਾਏ ਜਾਂ ਭਾਵਨਾਵਾਂ ਨਹੀਂ ਸਨ।

ਮੇਰੇ ਪਹਿਲੇ ਪ੍ਰੋਂਪਟ (prompt) ਵਿੱਚ ਇੱਕ ਨਿਯਮ ਸੀ: ਇੱਕ ਸੂਚੀ ਵਿੱਚੋਂ ਘੱਟੋ-ਘੱਟ ਇੱਕ ਪੱਖਪਾਤ (bias) ਲੱਭੋ।

ਇਸ ਨਿਯਮ ਨੇ ਸਿਸਟਮ ਨੂੰ ਕੁਝ ਨਾ ਕੁਝ ਲੱਭਣ ਲਈ ਮਜਬੂਰ ਕਰ ਦਿੱਤਾ। ਜਦੋਂ ਕੁਝ ਵੀ ਮੌਜੂਦ ਨਹੀਂ ਸੀ, ਤਾਂ ਵੀ ਸਿਸਟਮ ਨੇ ਇੱਕ ਪੱਖਪਾਤ ਘੜਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ।

ਮੈਂ ਪ੍ਰੋਂਪਟ ਨੂੰ version 1.0.0 ਵਿੱਚ ਅਪਡੇਟ ਕੀਤਾ। ਮੈਂ ਸਬੂਤ ਦੀ ਇੱਕ ਸ਼ਰਤ ਜੋੜ ਦਿੱਤੀ। ਪੱਖਪਾਤ ਦੇ ਮੌਜੂਦ ਹੋਣ ਨੂੰ ਸਾਬਤ ਕਰਨ ਲਈ ਸਿਸਟਮ ਨੂੰ ਕਹਾਣੀ ਦੇ ਖਾਸ ਹਿੱਸਿਆਂ ਦਾ ਹਵਾਲਾ ਦੇਣਾ ਪੈਂਦਾ ਸੀ।

ਮੈਨੂੰ ਲੱਗਿਆ ਕਿ ਇਸ ਨਾਲ ਸਮੱਸਿਆ ਹੱਲ ਹੋ ਗਈ ਹੈ। ਪਰ ਅਜਿਹਾ ਨਹੀਂ ਹੋਇਆ।

ਜਦੋਂ ਮੈਂ ਅਗਲੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਵਿੱਚ "no info" ਦਿੱਤਾ, ਤਾਂ ਸਿਸਟਮ ਨੇ ਮੈਨੂੰ Cherry-Picking ਲਈ ਫਲੈਗ ਕਰ ਦਿੱਤਾ। ਇਸਨੇ ਦਲੀਲ ਦਿੱਤੀ ਕਿ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਤੋਂ ਮੇਰਾ ਇਨਕਾਰ ਡੇਟਾ ਨੂੰ ਛੱਡਣ ਦਾ ਇੱਕ ਜਾਣਬੁੱਝ ਕੇ ਕੀਤਾ ਗਿਆ ਫੈਸਲਾ ਸੀ।

ਤਕਨੀਕੀ ਤੌਰ 'ਤੇ ਸਿਸਟਮ ਸਹੀ ਸੀ। ਮੈਂ ਚਾਰ ਵਾਰ "no info" ਕਿਹਾ ਸੀ। ਇਸਨੇ ਮੇਰੇ ਬਿਲਕੁਲ ਸਹੀ ਸ਼ਬਦਾਂ ਦਾ ਹਵਾਲਾ ਦਿੱਤਾ। ਪਰ ਨਤੀਜਾ ਗਲਤ ਸੀ। ਇਸਨੇ ਜਾਣਕਾਰੀ ਦੀ ਘਾਟ ਨੂੰ ਤਰਕ ਦੀ ਗਲਤੀ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ।

Grounding ਨੇ ਹਵਾਲਿਆਂ ਨੂੰ ਇਮਾਨਦਾਰ ਬਣਾ ਦਿੱਤਾ। ਇਸਨੇ ਨਤੀਜਿਆਂ ਨੂੰ ਸਹੀ ਨਹੀਂ ਬਣਾਇਆ।

ਮੈਂ version 1.1.0 ਰਿਲੀਜ਼ ਕੀਤਾ। ਮੈਂ ਤਿੰਨ ਨਵੇਂ ਚੈੱਕ ਜੋੜੇ:

ਨਤੀਜੇ ਬਦਲ ਗਏ। ਉਹੀ "no info" ਜਵਾਬਾਂ ਦੇ ਨਾਲ, version 1.1.0 ਨੇ ਕੋਈ ਪੱਖਪਾਤ ਨਹੀਂ ਦੱਸਿਆ। ਇਸਨੇ ਪਛਾਣ ਲਿਆ ਕਿ ਮੇਰੇ ਜਵਾਬ ਵਿਆਖਿਆਤਮਕ (interpretive) ਹੋਣ ਦੀ ਬਜਾਏ ਵਰਣਨਾਤਮਕ (descriptive) ਸਨ।

ਦੋਵਾਂ versionਾਂ ਵਿਚਕਾਰ ਅੰਤਰ ਸਬੂਤ ਦਾ ਨਹੀਂ ਹੈ। ਅੰਤਰ ਇਹ ਹੈ ਕਿ ਸਿਸਟਮ "I don't know" ਨਾਲ ਕਿਵੇਂ ਪੇਸ਼ ਆਉਂਦਾ ਹੈ।

ਇੱਕ version "I don't know" ਨੂੰ ਪੱਖਪਾਤ ਦੇ ਸੰਕੇਤ ਵਜੋਂ ਦੇਖਦਾ ਹੈ। ਦੂਜਾ ਇਸਨੂੰ ਇੱਕ ਵੈਧ ਜਵਾਬ ਵਜੋਂ ਦੇਖਦਾ ਹੈ। ਤੁਹਾਨੂੰ ਮਾਡਲ ਨੂੰ ਦੱਸਣਾ ਪਵੇਗਾ ਕਿ ਇਸਨੂੰ ਕਿਵੇਂ ਸੰਭਾਲਣਾ ਹੈ। ਇਹ ਆਪਣੇ ਆਪ ਫੈਸਲਾ ਨਹੀਂ ਲਵੇਗਾ।

ਮੈਂ ਹੁਣ ਇਸਦੀ ਜਾਂਚ ਕਰਨ ਲਈ metrics ਬਣਾ ਰਿਹਾ ਹਾਂ। ਮੈਨੂੰ ਇਹ ਜਾਣਨ ਦੀ ਲੋੜ ਹੈ ਕਿ ਕੀ ਸਿਸਟਮ ਵਿੱਚ ਅਸਲ ਵਿੱਚ ਸੁਧਾਰ ਹੋਇਆ ਹੈ ਜਾਂ ਇਸਨੇ ਸਿਰਫ਼ ਇਸ ਖਾਸ ਕਹਾਣੀ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨਾ ਸਿੱਖ ਲਿਆ ਹੈ।

ਮੈਨੂੰ ਲੱਗਿਆ ਕਿ ਮੈਂ ਇੱਕ bias detector ਬਣਾ ਰਿਹਾ ਹਾਂ। ਇਸ ਦੀ ਬਜਾਏ, ਮੈਂ ਸਿੱਖਿਆ ਕਿ ਤਰਕ ਪ੍ਰਣਾਲੀਆਂ (reasoning systems) "I don't know" ਨਾਲ ਕਿਉਂ ਸੰਘਰਸ਼ ਕਰਦੀਆਂ ਹਨ।

Source: https://dev.to/lemind/my-bias-detector-found-cherry-picking-in-the-answer-no-info-9hf

Optional learning community: https://t.me/GyaanSetuAi