भरती प्रक्रिया करणारे अल्गोरिदम मानवी विसंगती दूर करण्यासाठी बनवले होते. मॉडेलला पुरेसे रिझ्युमे (resumes) दिले की ते केवळ पात्रतेच्या आधारावर निर्णय घेईल, अशी अपेक्षा होती. पण वास्तव मात्र अधिक गुंतागुंतीचे ठरत आहे. प्रिन्स्टन विद्यापीठ आणि शिकागो विद्यापीठाच्या एका नवीन अभ्यासातून असे दिसून आले आहे की, लार्ज लँग्वेज मॉडेल्स (LLMs) केवळ जुने पूर्वग्रह पुन्हा वापरत नाहीत, तर ते शून्यातून नवीन रूढीवादी धारणा (stereotypes) तयार करतात आणि मॉडेल जितके हुशार, तितक्या वेगाने हे घडते.
प्रयोग कसा करण्यात आला
संशोधकांनी पक्षपातीपणा रिअल-टाइममध्ये कसा तयार होतो हे पाहण्यासाठी एक आभासी (simulated) श्रम बाजार तयार केला. त्यांनी Tufa, Aima, Reku आणि Weki असे चार काल्पनिक वांशिक गट तयार केले आणि ChatGPT, Claude आणि Gemini च्या विविध आवृत्त्यांना वीस वेगवेगळ्या नोकऱ्यांसाठी कर्मचारी नियुक्त करण्याचे काम दिले. या यादीमध्ये डॉक्टरांपासून ते इंजिनिअर्सपर्यंत आणि सफाई कामगारांपासून ते क्लिनर्सपर्यंत सर्व प्रकारचे व्यवसाय होते. येथे एक महत्त्वाची बाब आहे: पडद्यामागे, प्रत्येक उमेदवाराची यशाची सांख्यिकीय शक्यता समान होती. एका Weki व्यक्तीला डॉक्टर म्हणून यशस्वी होण्याची जितकी संधी होती, तितकीच संधी एका Tufa व्यक्तीलाही होती. गणितीयदृष्ट्या सर्व काही न्याय्य होते.
परंतु, जे समोर आले ते न्याय्य नव्हते. प्रत्येक भरती फेरीनंतर, मॉडेलला त्यांच्या निवडलेल्या उमेदवाराने यश मिळवले की अपयश, याबद्दल साधी प्रतिक्रिया (feedback) दिली जात असे. जेव्हा एखादा Aima उमेदवार उच्च-दर्जाच्या भूमिकेत एकदा अपयशी ठरला, तेव्हा मॉडेलने त्याला केवळ एक योगायोग मानले नाही. त्याऐवजी, मॉडेलने त्याला एक नियम मानले. प्रणालीने वेगाने Aima उमेदवारांना सफाई कामगारांसारख्या कमी दर्जाच्या पदांपर्यंत मर्यादित करण्यास सुरुवात केली. एक डेटा पॉईंट (data point) त्यांचे नशीब ठरवू लागला. AI ने अशी एक श्रेणीबद्ध रचना (hierarchy) तयार केली होती, जी कोणत्याही मानवी प्रोग्रामरने लिहिली नव्हती आणि कोणत्याही ऐतिहासिक डेटासेटमध्ये नव्हती.
जेव्हा हुशार मॉडेल्स चुकीची सामान्यीकरणे करतात
संशोधकांनी 'सेग्रिगेशन स्केल'वर (segregation scale) निकालांचे मोजमाप केले, जिथे २.० म्हणजे एखाद्या गटाला एका विशिष्ट क्षेत्रात पूर्णपणे मर्यादित करणे. पूर्वीच्या मानसशास्त्रीय अभ्यासातील मानवी सहभागींचा स्कोअर ०.८४ होता. लँग्वेज मॉडेल्सनी या बेंचमार्कला सहज ओलांडले. OpenAI चे रिझनिंग मॉडेल, o3, १.८३ वर पोहोचले—जे जवळजवळ पूर्णतः विभक्तीकरण दर्शवते.
हे 'एक्सप्लोरेशन-एक्सप्लॉइटेशन डिलेमा'चे (exploration-exploitation dilemma) अनियंत्रित रूप आहे. ही प्रणाली गणिती समस्या, कोडिंग आव्हाने आणि तार्किक कोडी सोडवण्यासाठी प्रशिक्षित केलेली असते. अशा क्षेत्रांमध्ये कमी पुराव्यांवरून योग्य निष्कर्षापर्यंत पोहोचण्याला महत्त्व दिले जाते. पॅटर्न ओळखा, तो निश्चित करा आणि वेगाने पुढे जा. जेव्हा हाच स्वभाव मानवांना लागू केला जातो, तेव्हा एका अपयशी भरतीवर आधारित वांशिक वर्गीकरण तयार होते.
अधिक वाईट म्हणजे, मॉडेल्स जितके प्रगत होतात, तितका हा पॅटर्न अधिक तीव्र होत जातो. OpenAI चे o3 आणि DeepSeek चे R1 सारख्या नवीन हाय-रिझनिंग सिस्टम्समध्ये अधिक तीव्र पक्षपातीपणा दिसून आला, कारण त्या अधिक वेगाने सामान्यीकरण (generalize) करण्यास उत्सुक असतात. त्या लवकर नियम तयार करून आणि ते आक्रमकपणे सुधारून स्वतःला ऑप्टिमाइझ करतात. जेव्हा विषय मानवी जीवनाचा असतो, तेव्हा हा आत्मविश्वासच अडथळा ठरतो. मॉडेलला वाटते की त्याने Aima गटाबद्दल एक सत्य शोधले आहे. प्रत्यक्षात, त्याने एका अपवादात्मक घटनेवरून (outlier) एक पिंजरा तयार केला आहे.
मेमरी ट्रॅप (स्मृतीचा सापळा)
हा अभ्यास एका कठीण काळात समोर आला आहे. उद्योग क्षेत्र आता वेगाने "एजेंटिक" (agentic) AI कडे वळत आहे—अशी प्रणाली जी दीर्घकालीन स्मृती राखून ठेवते, तपशीलवार युजर प्रोफाइल्स तयार करते आणि महिनोंमहिने किंवा वर्षांनुवर्षे वैयक्तिक निर्णय घेते. कॉर्नेल विद्यापीठातील संगणक शास्त्रज्ञ अँजेलिना वांग यांनी इशारा दिला आहे की, सुधारित स्मृतीमुळे मॉडेल्स मागील संवादांवर "ओव्हर-इंडेक्स" (over-index) करू शकतात. एक नकारात्मक अपवाद—एक नाकारलेला कर्ज अर्ज, एक कामावरून काढून टाकलेला कर्मचारी किंवा एक फ्लॅग केलेली अर्जाची प्रत—ही गोष्ट कायमस्वरूपी गृहितकात रूपांतरित होते. पक्षपातीपणा काळानुसार कमी होत नाही, तर तो अधिक घट्ट होतो. AI ला अधिक उपयुक्त आणि संदर्भाची जाणीव ठेवणारे बनवण्यासाठी जी वैशिष्ट्ये वापरली जातात, तीच वैशिष्ट्ये त्याला अधिक हट्टी आणि अन्यायकारक बनवू शकतात.
नेमका उपाय काय?
संशोधकांनी अनेक सुरक्षा उपाय (guardrails) तपासले आणि त्यांचे निकाल धक्कादायक होते.
मॉडेलला केवळ "न्याय्य राहा" असे सांगून जवळजवळ काहीच साध्य झाले नाही. हे निर्देश केवळ नावापुरते राहिले, तर त्यामागील ऑप्टिमायझेशन इंजिन मात्र त्याच्या मूळ ध्येयाकडे म्हणजेच 'यशस्वी भरती जास्तीत जास्त करणे' याकडेच झेपावत होते. केवळ विनंती केल्यावर पाळले जाणारे नीतिशास्त्र हे दुर्लक्षित नीतिशास्त्रासारखेच असते.
जो उपाय यशस्वी ठरला तो होता 'संरचनात्मक' (structural). जेव्हा संशोधकांनी विविधतेने भरती प्रक्रिया राबवल्याबद्दल मॉडेल्सना अतिरिक्त गणितीय बोनस दिला, तेव्हा विभक्तीकरण (segregation) लक्षणीयरीत्या कमी झाले. सामाजिक मूल्ये थेट 'रिवॉर्ड फंक्शन'मध्ये (reward function) समाविष्ट करणे आवश्यक होते, ती केवळ नंतर जोडण्यासाठी नव्हती. दुसऱ्या शब्दांत सांगायचे तर, मॉडेलने केवळ सूचना वाचून नव्हे, तर आपल्या गणितात न्यायाचा तो प्रोत्साहन (incentive) प्रत्यक्ष अनुभवणे आवश्यक होते.
Data hygiene mattered too. Supplying relevant personal context—age, education, years of experience—gave the models legitimate signals to weigh, which reduced their reliance on ethnic stereotyping. But throw in irrelevant details like hair color, and the systems grabbed them as excuses to retreat to group-based sorting. More information is not always better. It depends entirely on what that information is and whether it gives the model an alternate path to its optimization target.
The Road Ahead
All of this carries weight because these systems are not staying inside chat windows. The same architectures are being deployed, or are actively being prepared, for loan approvals, parole recommendations, and workforce management decisions at scale. The researchers warn of “novel biases”—prejudices that no human ever held and no historical dataset encoded, but that the AI engineered for itself while chasing efficiency.
The uncomfortable truth is that raw reasoning ability and social fairness can pull in opposite directions. A model optimized to find the shortest path to a correct answer will happily find the shortest path to a wrong assumption about people. Building fair systems will not mean simply asking nicely. It will mean redesigning the objectives, auditing the feedback loops, and accepting that some generalizations—the kind that reduce human beings to a category after one mistake—must never be allowed to form. If we want AI to judge candidates fairly, we have to stop treating fairness as a suggestion and start encoding it as a hard constraint. Anything less, and the machines will optimize their way straight into prejudice.