İşe alım algoritmalarının insan tutarsızlığını ortadan kaldırması bekleniyordu. Bir modele yeterince özgeçmiş beslediğinizde, sadece yetkinliklere göre değerlendirme yapması gerekiyordu. Gerçeklik ise daha karmaşık bir hal alıyor. Princeton Üniversitesi ve Chicago Üniversitesi'nden yeni bir çalışma, büyük dil modellerinin sadece eski önyargıları tekrar etmekle kalmadığını gösteriyor. Bu modeller, yoktan yeni stereotipler uyduruyor ve model ne kadar akıllıysa, bu durum o kadar hızlı gerçekleşiyor.
Deney Nasıl Çalıştı
Araştırmacılar, önyargının gerçek zamanlı olarak nasıl oluştuğunu gözlemlemek için simüle edilmiş bir iş piyasası kurdular. Tufa, Aima, Reku ve Weki adında dört kurgusal etnik grup yarattılar ve ChatGPT, Claude ve Gemini'nin farklı versiyonlarına yirmi farklı işe personel yerleştirme görevi verdiler. Liste, doktorlar ve mühendislerden hademeler ve temizlikçilere kadar uzanıyordu. İşte kritik detay: perde arkasında, her adayın başarı şansı istatistiksel olarak tamamen aynıydı. Bir Weki'nin doktor olarak başarılı olma şansı, bir Tufa ile tam olarak aynıydı. Kartlar matematiksel olarak adildi.
Ancak ortaya çıkan şey adalet değildi. Her işe alım turundan sonra modeller, seçtikleri adayın başarılı olup olmadığına dair basit bir geri bildirim aldı. Bir Aima adayı yüksek statülü bir rolde tesadüfen bir kez düşük performans gösterdiğinde, model bunu rastgele bir gürültü olarak görmedi. Bunu bir kural olarak kabul etti. Sistem, hızla Aima adaylarını hademelik gibi düşük statülü pozisyonlara hapsetmeye başladı. Tek bir veri noktası, kader haline geldi. Yapay zeka, hiçbir insan programcının yazmadığı ve hiçbir tarihsel veri setinin içermediği bir hiyerarşi icat etmişti.
Akıllı Modeller Aptalca Genellemeler Yaptığında
Araştırmacılar sonuçları, bir grubun tek bir nişe tamamen hapsedilmesini 2.0 olarak temsil eden bir ayrışma ölçeğinde ölçtüler. Önceki psikolojik çalışmalardaki insan katılımcılar 0.84 puan almıştı. Dil modelleri bu eşiği çoktan aşmıştı. OpenAI'ın akıl yürütme modeli o3, 1.83 puana ulaşarak neredeyse kusursuz bir ayrışma sergiledi.
Bu, kontrolden çıkmış bir keşif-istismar (exploration-exploitation) ikilemidir. Bu sistemler matematik problemlerini, kodlama zorluklarını ve mantık bulmacalarını çözmek üzere ayarlanmıştır. Bu alanlar, yetersiz kanıttan doğru bir sonuca varmayı ödüllendirir. Deseni fark et. Onu sabitle. Daha hızlı hareket et. Aynı refleksi insanlara uygularsanız, tek bir başarısız işe alıma dayalı etnik ayrıştırma elde edersiniz.
Daha da kötüsü, modeller daha karmaşık hale geldikçe bu örüntü şiddetleniyor. OpenAI'ın o3 ve DeepSeek'in R1 gibi yeni nesil yüksek akıl yürütme sistemleri, daha istekli genelleme yaptıkları için daha güçlü bir önyargı gösterdiler. Erken aşamada kurallar oluşturup bunları agresif bir şekilde rafine ederek optimize ediyorlar. Konu insanlar olduğunda, bu özgüven bir dezavantaja dönüşüyor. Model, Aima grubu hakkında bir gerçeği keşfettiğini sanıyor. Gerçekte ise tek bir aykırı değerden bir kafes inşa etmiş durumda.
Hafıza Tuzağı
Çalışma, sektörün zor bir döneminde ortaya çıkıyor. Endüstri, uzun süreli hafızaya sahip olan, detaylı kullanıcı profilleri oluşturan ve aylarca hatta yıllarca süren kararları kişiselleştiren “agentic” yapay zekaya doğru sert bir dönüş yapıyor. Cornell Üniversitesi'nden bilgisayar bilimci Angelina Wang, gelişmiş hafızanın modellerin önceki etkileşimlere “aşırı odaklanmasına” (over-index) neden olabileceği konusunda uyarıyor. Tek bir olumsuz aykırı değer —reddedilen bir kredi, işten çıkarılan bir çalışan, işaretlenen bir başvuru— kalıcı bir varsayıma dönüşerek fosilleşiyor. Önyargı zamanla azalmıyor; aksine sertleşiyor. Yapay zekayı daha yardımcı ve bağlam farkındalığı yüksek hale getirmesi beklenen özellik, aynı zamanda onu daha inatçı bir şekilde adaletsiz de yapabilir.
Sorunu Gerçekten Ne Çözer?
Araştırmacılar birkaç koruma mekanizması test ettiler ve sonuçlar oldukça düşündürücüydü.
Bir modele sadece “adil ol” demek neredeyse hiçbir işe yaramadı. Bu talimat, alttaki optimizasyon motoru asıl hedefi olan başarılı işe alımları maksimize etmeye doğru çalışırken orada sadece bir süs gibi durdu. Talep üzerine gelen etik, görmezden gelinen etiktir.
İşe yarayan çözüm yapısal olandı. Araştırmacılar modellere, çeşitli işe alım sonuçlarını korumaları için ek bir matematiksel bonus verdiklerinde, ayrışma önemli ölçüde düştü. Sosyal değer, sonradan eklenmiş bir düşünce gibi değil, doğrudan ödül fonksiyonuna dahil edilmeliydi. Başka bir deyişle, model adaleti sadece talimatlarında okumamalı, hesaplamalarında bu teşviki hissetmeliydi.
Veri hijyeni de önemliydi. İlgili kişisel bağlamın —yaş, eğitim, deneyim yılı— sağlanması, modellere tartabilecekleri meşru sinyaller vererek etnik stereotiplere olan bağımlılıklarını azalttı. Ancak saç rengi gibi ilgisiz detaylar eklendiğinde, sistemler bunları grup tabanlı sınıflandırmaya geri dönmek için birer bahane olarak kullandı. Daha fazla bilgi her zaman daha iyi demek değildir. Bu, tamamen bilginin ne olduğuna ve modele optimizasyon hedefine ulaşması için alternatif bir yol sunup sunmadığına bağlıdır.
Geleceğe Doğru
Tüm bunlar büyük önem taşıyor çünkü bu sistemler sadece sohbet pencereleriyle sınırlı kalmıyor. Aynı mimariler; kredi onayları, şartlı tahliye önerileri ve geniş ölçekli iş gücü yönetimi kararları için kullanılıyor veya aktif olarak hazırlanıyor. Araştırmacılar, "yeni önyargılar" konusunda uyarıyor: Hiçbir insanın sahip olmadığı ve hiçbir tarihsel veri setinin kodlamadığı, ancak yapay zekanın verimlilik peşinde koşarken kendisi için kurguladığı önyargılar.
Rahatsız edici gerçek şu ki, ham muhakeme yeteneği ile sosyal adalet birbirine zıt yönlere çekebilir. Doğru cevaba giden en kısa yolu bulmak üzere optimize edilmiş bir model, insanlar hakkında yanlış bir varsayıma ulaşmanın en kısa yolunu da büyük bir memnuniyetle bulacaktır. Adil sistemler inşa etmek, sadece nazikçe rica etmek anlamına gelmeyecek. Bu; hedeflerin yeniden tasarlanması, geri bildirim döngülerinin denetlenmesi ve bazı genellemelerin —insanları tek bir hatadan sonra bir kategoriye indirgeyen türden olanların— asla oluşmasına izin verilmemesi gerektiğinin kabul edilmesi anlamına gelecektir. Eğer yapay zekanın adayları adil bir şekilde değerlendirmesini istiyorsak, adaleti bir öneri olarak görmeyi bırakmalı ve onu katı bir kısıtlama olarak kodlamaya başlamalıyız. Bundan daha azı, makinelerin doğrudan önyargıya doğru optimize olmasına yol açacaktır.