ನೇಮಕಾತಿ ಅಲ್ಗಾರಿದಮ್ಗಳು ಮಾನವನ ಅಸ್ಥಿರತೆಯನ್ನು ಹೋಗಲಾಡಿಸಬೇಕೆಂದು ನಿರೀಕ್ಷಿಸಲಾಗಿತ್ತು. ಒಂದು ಮಾದರಿಗೆ (model) ಸಾಕಷ್ಟು ರೆಸ್ಯೂಮೆಗಳನ್ನು ನೀಡಿದರೆ, ಅದು ಕೇವಲ ಅರ್ಹತೆಗಳ ಆಧಾರದ ಮೇಲೆ ಕಟ್ಟುನಿಟ್ಟಾಗಿ ನಿರ್ಧರಿಸುತ್ತದೆ ಎಂದು ಭಾವಿಸಲಾಗಿತ್ತು. ಆದರೆ ವಾಸ್ತವವು ಹೆಚ್ಚು ಗೊಂದಲಮಯವಾಗಿ ಹೊರಬರುತ್ತಿದೆ. ಪ್ರಿನ್ಸ್ಟನ್ ವಿಶ್ವವಿದ್ಯಾಲಯ ಮತ್ತು ಚಿಕಾಗೋ ವಿಶ್ವವಿದ್ಯಾಲಯದ ಹೊಸ ಅಧ್ಯಯನವು, ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳು (large language models) ಕೇವಲ ಹಳೆಯ ಪೂರ್ವಾಗ್ರಹಗಳನ್ನು ಮರುಬಳಕೆ ಮಾಡುವುದಿಲ್ಲ ಎಂಬುದನ್ನು ತೋರಿಸಿದೆ. ಅವು ಶೂನ್ಯದಿಂದ ಹೊಸ ರೂಢಿಗತ ನಂಬಿಕೆಗಳನ್ನು (stereotypes) ಸೃಷ್ಟಿಸುತ್ತವೆ, ಮತ್ತು ಮಾದರಿಯು ಎಷ್ಟು ಬುದ್ಧಿವಂತವಾಗಿದ್ದಷ್ಟೇ, ಇದು ಅಷ್ಟು ವೇಗವಾಗಿ ಸಂಭವಿಸುತ್ತದೆ.
ಪ್ರಯೋಗವು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸಿತು
ಸಂಶೋಧಕರು ನೈಜ ಸಮಯದಲ್ಲಿ ಪೂರ್ವಾಗ್ರಹ ಹೇಗೆ ರೂಪುಗೊಳ್ಳುತ್ತದೆ ಎಂಬುದನ್ನು ಗಮನಿಸಲು ಒಂದು ಅಣಕು ಕಾರ್ಮಿಕ ಮಾರುಕಟ್ಟೆಯನ್ನು ನಿರ್ಮಿಸಿದರು. ಅವರು Tufa, Aima, Reku ಮತ್ತು Weki ಎಂಬ ನಾಲ್ಕು ಕಾಲ್ಪನಿಕ ಜನಾಂಗೀಯ ಗುಂಪುಗಳನ್ನು ಸೃಷ್ಟಿಸಿದರು ಮತ್ತು ChatGPT, Claude ಮತ್ತು Gemini ನ ವಿವಿಧ ಆವೃತ್ತಿಗಳಿಗೆ ಇಪ್ಪತ್ತು ವಿಭಿನ್ನ ಉದ್ಯೋಗಗಳಿಗೆ ಸಿಬ್ಬಂದಿಯನ್ನು ನೇಮಿಸುವ ಜವಾಬ್ದಾರಿಯನ್ನು ನೀಡಿದರು. ಈ ಪಟ್ಟಿಯು ವೈದ್ಯರು ಮತ್ತು ಇಂಜಿನಿಯರ್ಗಳಿಂದ ಹಿಡಿದು ಕಸ ಗುಡಿಸುವವರು ಮತ್ತು ಸ್ವಚ್ಛತಾ ಕಾರ್ಮಿಕರವರೆಗೆ ಇತ್ತು. ಇಲ್ಲಿ ಒಂದು ನಿರ್ಣಾಯಕ ವಿವರವಿದೆ: ತೆರೆಯ ಮರೆಯಲ್ಲಿ, ಪ್ರತಿಯೊಬ್ಬ ಅಭ್ಯರ್ಥಿಯು ಯಶಸ್ವಿಯಾಗಲು ಒಂದೇ ರೀತಿಯ ಸಾಂಖ್ಯಿಕ ಸಾಧ್ಯತೆಯನ್ನು ಹೊಂದಿದ್ದರು. ಒಬ್ಬ Weki ವೈದ್ಯನಾಗಿ ಯಶಸ್ವಿಯಾಗುವ ಅವಕಾಶವು ಒಬ್ಬ Tufa ವ್ಯಕ್ತಿಗೆ ಇರುವ ಅವಕಾಶದಷ್ಟೇ ನಿಖರವಾಗಿತ್ತು. ಗಣಿತದ ಪ್ರಕಾರ ಎಲ್ಲರಿಗೂ ಸಮಾನ ಅವಕಾಶವಿತ್ತು.
ಆದರೆ ಅಲ್ಲಿ ನ್ಯಾಯಯುತತೆ ಎದ್ದು ಕಾಣಲಿಲ್ಲ. ಪ್ರತಿ ನೇಮಕಾತಿ ಸುತ್ತಿನ ನಂತರ, ಆಯ್ಕೆ ಮಾಡಿದ ಅಭ್ಯರ್ಥಿ ಯಶಸ್ವಿಯಾದರೇ ಅಥವಾ ವಿಫಲರಾದರೇ ಎಂಬ ಸರಳ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಮಾದರಿಗಳಿಗೆ ನೀಡಲಾಯಿತು. ಉನ್ನತ ಸ್ಥಾನಮಾನದ ಪಾತ್ರದಲ್ಲಿ ಒಬ್ಬ Aima ಅಭ್ಯರ್ಥಿ ಒಮ್ಮೆ ವಿಫಲವಾದಾಗ, ಮಾದರಿಯು ಅದನ್ನು ಕೇವಲ ಒಂದು ಯಾದೃಚ್ಛಿಕ ಘಟನೆಯಾಗಿ ಪರಿಗಣಿಸಲಿಲ್ಲ. ಬದಲಾಗಿ ಅದನ್ನು ಒಂದು ನಿಯಮವನ್ನೇ ಎಂದು ಪರಿಗಣಿಸಿತು. ವ್ಯವಸ್ಥೆಯು ತಕ್ಷಣವೇ Aima ಅಭ್ಯರ್ಥಿಗಳನ್ನು ಕಸ ಗುಡಿಸುವ ಕೆಲಸದಂತಹ ಕಡಿಮೆ ಸ್ಥಾನಮಾನದ ಹುದ್ದೆಗಳಿಗೆ ಸೀಮಿತಗೊಳಿಸಲು ಪ್ರಾರಂಭಿಸಿತು. ಒಂದು ದತ್ತಾಂಶದ ಅಂಶವೇ ವಿಧಿಯಾಯಿತು. ಯಾವ ಮಾನವ ಪ್ರೋಗ್ರಾಮರ್ ಬರೆಯದ ಮತ್ತು ಯಾವುದೇ ಐತಿಹಾಸಿಕ ದತ್ತಾಂಶದಲ್ಲಿ ಇಲ್ಲದ ಒಂದು ಶ್ರೇಣಿ ವ್ಯವಸ್ಥೆಯನ್ನು AI ತಾನಾಗಿಯೇ ಸೃಷ್ಟಿಸಿತ್ತು.
ಬುದ್ಧಿವಂತ ಮಾದರಿಗಳು ಮೂರ್ಖತನದ ಸಾಮಾನ್ಯೀಕರಣಗಳನ್ನು ಮಾಡಿದಾಗ
ಸಂಶೋಧಕರು ಪ್ರತ್ಯೇಕತೆಯ ಮಾಪನದಲ್ಲಿ (segregation scale) ಫಲಿತಾಂಶಗಳನ್ನು ಅಳೆದರು, ಅಲ್ಲಿ 2.0 ಎಂದರೆ ಒಂದು ಗುಂಪನ್ನು ಕೇವಲ ಒಂದು ನಿರ್ದಿಷ್ಟ ಕ್ಷೇತ್ರಕ್ಕೆ ಸಂಪೂರ್ಣವಾಗಿ ಸೀಮಿತಗೊಳಿಸುವುದು ಎಂದರ್ಥ. ಹಿಂದಿನ ಮನೋವೈಜ್ಞಾನಿಕ ಅಧ್ಯಯನಗಳಲ್ಲಿ ಭಾಗವಹಿಸಿದ ಮಾನವರು 0.84 ಅಂಕಗಳನ್ನು ಪಡೆದಿದ್ದರು. ಆದರೆ ಭಾಷಾ ಮಾದರಿಗಳು ಆ ಮಾನದಂಡವನ್ನು ಮೀರಿ ಹೋದವು. OpenAI ನ ತರ್ಕಬದ್ಧ ಮಾದರಿ, o3, 1.83 ಅಂಕಗಳನ್ನು ತಲುಪಿತು—ಇದು ಬಹುತೇಕ ಪರಿಪೂರ್ಣ ಪ್ರತ್ಯೇಕತೆಯನ್ನು ಸೂಚಿಸುತ್ತದೆ.
ಇದು ಅನ್ವೇಷಣೆ ಮತ್ತು ಬಳಕೆ (exploration-exploitation) ನಡುವಿನ ಸಂದಿಗ್ಧತೆಯ ತಪ್ಪು ಬಳಕೆ. ಈ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಗಣಿತದ ಸಮಸ್ಯೆಗಳು, ಕೋಡಿಂಗ್ ಸವಾಲುಗಳು ಮತ್ತು ತರ್ಕದ ಒಗಟುಗಳಲ್ಲಿ ಗೆಲ್ಲುವಂತೆ ರೂಪಿಸಲಾಗಿದೆ. ಅಂತಹ ಕ್ಷೇತ್ರಗಳು ಕಡಿಮೆ ಪುರಾವೆಗಳಿಂದ ಸರಿಯಾದ ತೀರ್ಮಾನಕ್ಕೆ ತಲುಪಲು ಪ್ರೋತ್ಸಾಹಿಸುತ್ತವೆ. ಮಾದರಿಯು ಒಂದು ಮಾದರಿಯನ್ನು (pattern) ಗುರುತಿಸುತ್ತದೆ, ಅದನ್ನು ಸ್ಥಿರೀಕರಿಸುತ್ತದೆ ಮತ್ತು ವೇಗವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಇದೇ ಪ್ರತಿಫಲವನ್ನು ಮನುಷ್ಯರಿಗೆ ಅನ್ವಯಿಸಿದಾಗ, ಕೇವಲ ಒಂದು ವೈಫಲ್ಯದ ನೇಮಕಾತಿಯ ಆಧಾರದ ಮೇಲೆ ಜನಾಂಗೀಯ ವರ್ಗೀಕರಣ ಉಂಟಾಗುತ್ತದೆ.
ಅದಕ್ಕಿಂತ ಕೆಟ್ಟದೇನೆಂದರೆ, ಮಾದರಿಗಳು ಹೆಚ್ಚು ಸುಧಾರಿತವಾಗುತ್ತಿದ್ದಂತೆ ಈ ಮಾದರಿಯು ತೀವ್ರಗೊಳ್ಳುತ್ತದೆ. OpenAI ನ o3 ಮತ್ತು DeepSeek ನ R1 ನಂತಹ ಹೊಸ ಉನ್ನತ ತರ್ಕದ ವ್ಯವಸ್ಥೆಗಳು ಹೆಚ್ಚು ಪೂರ್ವಾಗ್ರಹವನ್ನು ತೋರಿಸಿದವು, ಏಕೆಂದರೆ ಅವು ಹೆಚ್ಚು ಉತ್ಸಾಹಭರಿತ ಸಾಮಾನ್ಯೀಕರಣಕಾರರಾಗಿವೆ. ಅವು ಆರಂಭದಲ್ಲೇ ನಿಯಮಗಳನ್ನು ರೂಪಿಸುವ ಮೂಲಕ ಮತ್ತು ಅವುಗಳನ್ನು ತೀವ್ರವಾಗಿ ಪರಿಷ್ಕರಿಸುವ ಮೂಲಕ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಹೆಚ್ಚಿಸಿಕೊಳ್ಳುತ್ತವೆ. ವಿಷಯವು ಮನುಷ್ಯರಾಗಿದ್ದಾಗ, ಆ ಆತ್ಮವಿಶ್ವಾಸವು ದೊಡ್ಡ ಅಡಚಣೆಯಾಗುತ್ತದೆ. Aima ಗುಂಪಿನ ಬಗ್ಗೆ ತಾನು ಒಂದು ಸತ್ಯವನ್ನು ಕಂಡುಕೊಂಡಿದೆ ಎಂದು ಮಾದರಿಯು ಭಾವಿಸುತ್ತದೆ. ವಾಸ್ತವದಲ್ಲಿ, ಅದು ಕೇವಲ ಒಂದು ಅಪವಾದದ (outlier) ಆಧಾರದ ಮೇಲೆ ಒಂದು ಸೆರೆಮನೆಯನ್ನು ನಿರ್ಮಿಸಿದೆ.
ನೆನಪಿನ ಬಲೆ (The Memory Trap)
ಈ ಅಧ್ಯಯನವು ಒಂದು ವಿಚಿತ್ರ ಸಮಯದಲ್ಲಿ ಬಂದಿದೆ. ಉದ್ಯಮವು ಈಗ "ಏಜೆಂಟಿಕ್" (agentic) AI ಕಡೆಗೆ ವೇಗವಾಗಿ ತಿರುಗುತ್ತಿದೆ—ಅಂದರೆ ದೀರ್ಘಾವಧಿಯ ನೆನಪನ್ನು ಉಳಿಸಿಕೊಳ್ಳುವ, ವಿವರವಾದ ಬಳಕೆದಾರರ ಪ್ರೊಫೈಲ್ಗಳನ್ನು ನಿರ್ಮಿಸುವ ಮತ್ತು ತಿಂಗಳು ಅಥವಾ ವರ್ಷಗಳ ಕಾಲ ವೈಯಕ್ತಿಕ ನಿರ್ಧಾರಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುವ ವ್ಯವಸ್ಥೆಗಳು. ಕಾರ್ನೆಲ್ ವಿಶ್ವವಿದ್ಯಾಲಯದ ಕಂಪ್ಯೂಟರ್ ವಿಜ್ಞಾನಿ ಏಂಜೆಲಿನಾ ವಾಂಗ್ ಅವರು ಎಚ್ಚರಿಸುವಂತೆ, ಸುಧಾರಿತ ನೆನಪಿನ ಶಕ್ತಿಯು ಮಾದರಿಗಳು ಹಿಂದಿನ ಸಂವಹನಗಳ ಮೇಲೆ "ಅತಿಯಾಗಿ ಗಮನ ಹರಿಸಲು" (over-index) ಅವಕಾಶ ಮಾಡಿಕೊಡುತ್ತದೆ. ಒಂದು ನಕಾರಾತ್ಮಕ ಅಂಶ—ಒಂದು ತಿರಸ್ಕರಿಸಲ್ಪಟ್ಟ ಸಾಲ, ಒಂದು ವಜಾ ಮಾಡಲ್ಪಟ್ಟ ನೇಮಕಾತಿ ಅಥವಾ ಒಂದು ಫ್ಲ್ಯಾಗ್ ಮಾಡಲ್ಪಟ್ಟ ಅರ್ಜಿ—ಕಾಯಂ ಕಲ್ಪನೆಯಾಗಿ ಸ್ಥಿರವಾಗುತ್ತದೆ. ಪೂರ್ವಾಗ್ರಹವು ಕಾಲದೊಂದಿಗೆ ಮಾಸುವುದಿಲ್ಲ; ಬದಲಾಗಿ ಅದು ಗಟ್ಟಿಯಾಗುತ್ತದೆ. AI ಅನ್ನು ಹೆಚ್ಚು ಸಹಾಯಕ ಮತ್ತು ಸಂದರ್ಭಕ್ಕೆ ತಕ್ಕಂತೆ ಮಾಡಲು ರೂಪಿಸಲಾದ ವೈಶಿಷ್ಟ್ಯವೇ ಅದನ್ನು ಹೆಚ್ಚು ಹಠಮಾರಿ ಮತ್ತು ಅನ್ಯಾಯಿಯನ್ನಾಗಿ ಮಾಡಬಹುದು.
ಸಮಸ್ಯೆಯನ್ನು ನಿಜವಾಗ فونب ಸರಿಪಡಿಸುವುದು ಹೇಗೆ
ಸಂಶೋಧಕರು ಹಲವಾರು ರಕ್ಷಣಾತ್ಮಕ ಕ್ರಮಗಳನ್ನು (guardrails) ಪರೀಕ್ಷಿಸಿದರು ಮತ್ತು ಫಲಿತಾಂಶಗಳು ವಿನಮ್ರವಾಗಿದ್ದವು.
ಮಾದರಿಗೆ ಕೇವಲ "ನ್ಯಾಯಯುತವಾಗಿರಿ" ಎಂದು ಹೇಳುವುದು ಬಹುತೇಕ ಏನನ್ನೂ ಸಾಧಿಸಲಿಲ್ಲ. ಆ ನಿರ್ದೇಶನವು ಕೇವಲ ಅಲಂಕಾರದಂತೆ ಇತ್ತು, ಆದರೆ ಅದರ ಅಡಿಯಲ್ಲಿರುವ ಆಪ್ಟಿಮೈಸೇಶನ್ ಇಂಜಿನ್ ತನ್ನ ನಿಜವಾದ ಗುರಿಯತ್ತಲೇ ಚಲಿಸುತ್ತಿತ್ತು: ಅಂದರೆ ಯಶಸ್ವಿ ನೇಮಕಾತಿಗಳನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುವುದು. ಕೋರಿಕೆಯ ಮೇಲಿನ ನೈತಿಕತೆಯು ನಿರ್ಲಕ್ಷಿಸಲ್ಪಟ್ಟ ನೈತಿಕತೆಯೇ ಆಗಿದೆ.
ಯಾವುದು ಕೆಲಸ ಮಾಡಿತೆಂದರೆ ಅದು ರಚನಾತ್ಮಕ ಪರಿಹಾರವಾಗಿತ್ತು. ಸಂಶೋಧಕರು ಮಾದರಿಗಳಿಗೆ ವೈವಿಧ್ಯಮಯ ನೇಮಕಾತಿ ಫಲಿತಾಂಶಗಳನ್ನು ಕಾಯ್ದುಕೊಳ್ಳುವ ಕಾಯ್ದೆಗಾಗಿ ಹೆಚ್ಚುವರಿ ಗಣಿತದ ಬೋನಸ್ ನೀಡಿದಾಗ, ಪ್ರತ್ಯೇಕತೆಯು ಗಮನಾರ್ಹವಾಗಿ ಕಡಿಮೆಯಾಯಿತು. ಸಾಮಾಜಿಕ ಮೌಲ್ಯವನ್ನು ನೇರವಾಗಿ ಪ್ರತಿಫಲ ಕಾರ್ಯದ (reward function) ಒಳಗೇ ಸೇರಿಸಬೇಕಾಗಿತ್ತು, ಅದನ್ನು ಕೇವಲ ನಂತರದ ಆಲೋಚನೆಯಾಗಿ ಸೇರಿಸಬಾರದಿತ್ತು. ಅಂದರೆ, ಮಾದರಿಯು ಕೇವಲ ಸೂಚನೆಗಳನ್ನು ಓದುವುದಲ್ಲದೆ, ತನ್ನ ಲೆಕ್ಕಾಚಾರಗಳಲ್ಲಿ ನ್ಯಾಯದ ಪ್ರೇರಣೆಯನ್ನು ಅನುಭವಿಸಬೇಕಿತ್ತು.
Data hygiene mattered too. Supplying relevant personal context—age, education, years of experience—gave the models legitimate signals to weigh, which reduced their reliance on ethnic stereotyping. But throw in irrelevant details like hair color, and the systems grabbed them as excuses to retreat to group-based sorting. More information is not always better. It depends entirely on what that information is and whether it gives the model an alternate path to its optimization target.
The Road Ahead
All of this carries weight because these systems are not staying inside chat windows. The same architectures are being deployed, or are actively being prepared, for loan approvals, parole recommendations, and workforce management decisions at scale. The researchers warn of “novel biases”—prejudices that no human ever held and no historical dataset encoded, but that the AI engineered for itself while chasing efficiency.
The uncomfortable truth is that raw reasoning ability and social fairness can pull in opposite directions. A model optimized to find the shortest path to a correct answer will happily find the shortest path to a wrong assumption about people. Building fair systems will not mean simply asking nicely. It will mean redesigning the objectives, auditing the feedback loops, and accepting that some generalizations—the kind that reduce human beings to a category after one mistake—must never be allowed to form. If we want AI to judge candidates fairly, we have to stop treating fairness as a suggestion and start encoding it as a hard constraint. Anything less, and the machines will optimize their way straight into prejudice.