LLM'lere Kaynaklarının Gerçek Olup Olmadığını Sormayı Bırakın
Bir yapay zekadan kaynak listesi istersiniz. Size başlıklar, yazarlar ve DOI'ler verir. Her şey mükemmel görünür. Sonra bunların yarısının mevcut olmadığını fark edersiniz.
DOI hiçbir yere çıkmaz. Makale hiçbir zaman yazılmamıştır.
İçgüdünüz modele şunu sormaktır: "Bunun gerçek olduğundan emin misin?" Yapay zeka evet diyecektir. Her zaman evet der. Bir sahtekâra işinin orijinal olup olmadığını soruyorsunuzdur.
Bir LLM, makalelerden oluşan bir veri tabanı kullanmaz. Bir dizideki bir sonraki kelimeyi tahmin eder. Bir yapay zeka için atıf sadece bir kalıptır. Bir atıf için bir isim, bir yıl ve on haneli bir sayı gerektiğini bilir. Gerçeği içermeden, gerçek bir kaynağın biçimini taklit eder.
Modelden kendi çalışmasını doğrulamasını istemeyi bırakın. Bunu iki nedenden dolayı yapamaz:
- Canlı bir sicil kaydına (registry) erişimi yoktur. Sadece makul görünen metinler üretir.
- Zaten söylediği şeyi onaylamaya yönelik bir yanlılığı (bias) vardır.
Bilgiyi doğrulamak için harici araçlar kullanmalısınız. Teknik yazım için üç adımlı bir filtre şöyledir:
Varlık. DOI'yi Crossref gibi bir API üzerinden kontrol edin. Eğer API 404 hatası döndürüyorsa, kaynak sahtedir. Uydurulmuş bir DOI asla çözümlenemez.
Güvenilirlik. Bir kaynak mevcut olabilir ancak yine de değersiz olabilir. Derginin veya konferansın tanınmış olup olmadığını kontrol edin. Geçerli bir DOI, kalite garantisi sağlamaz.
Sadakat (Fidelity). Makale gerçekten iddianızı destekliyor mu? İçeriği okumanız gerekir. Özetin (abstract) her ayrıntıyı kapsadığını varsaymayın. Yanlış bir iddia için kullanılan gerçek bir atıf, hâlâ bir yalandır.
Bu durum sadece akademik makaleler için geçerli değildir. Eğer bir yapay zeka bir JIRA biletine, bir CVE numarasına veya bir kod commit'ine atıfta bulunuyorsa, bunu gerçek sistem üzerinden doğrulamalısınız.
Yapay zeka mimarisindeki en büyük hata, modelin kendi kendini doğrulamasına güvenmektir. Doğrulama ayrı bir adım olmalıdır. Kullanıcı sonucu görmeden önce harici bir gerçeklik kaynağına (source of truth) bağlanmalıdır.
Modelleri daha dürüst yapmaya çalışmayın. Onlar metin üreticileridir ve her zaman halüsinasyon göreceklerdir. Bunun yerine, onlara güvenmeyi bırakın.
Bir sicil kaydıyla doğrulayamadığınız bir atıf, atıf değildir. O, laboratuvar önlüğü giymiş bir tahminden ibarettir.
Kaynak: https://dev.to/ohugonnot/stop-asking-the-llm-whether-its-source-is-real-2oaa
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi