WhatsApp tabanlı yeni bir RAG (retrieval-augmented generation) asistanı, her cevabın JSON formatında kodlanmış bir atıfla desteklenmesini şart koşarak halüsinasyon görmeyi bıraktı. Model belirli bir veri parçasına (chunk) işaret edemediğinde, “Bunu yanıtlamak için yeterli bilgiye sahip değilim,” yanıtını vererek kendinden emin bir yalancıdan, güvenilir bir “Bilmiyorum” sistemine dönüştü.

RAG'da güven neden önemlidir

RAG hakkındaki çoğu eğitim, geri çağırma (retrieval) aşamasına odaklanır; gömme (embedding) seçimi, belgelerin parçalara (chunk) bölünmesi, sonuçların yeniden sıralanması gibi. Ancak ilgili metin bulunduktan sonra ne olduğuna değinmezler. Asistan, geri çağrılan bağlamın aslında desteklemediği kesin bir yanıt verdiğinde, kullanıcılar güvenlerini kaybederler.

Güven boşluğu

PostgreSQL ve pgvector eklentisiyle oluşturulan bir prototipte, geri çağırma hattı oldukça basitti. Asıl zorluk üretim aşamasında ortaya çıktı: Dil modeli, geri çağrılan kesit gerekli bilgiden yoksun olsa bile kendinden emin bir tonda konuşuyordu. Bir demo bu sorunu gizleyebilirdi ancak gerçek kullanıcılar, kendinden emin görünmek ile doğru olmak arasındaki boşluğu ortaya çıkardı.

JSON ile atıfları zorunlu kılmak

Yazar, modeli “yalnızca bağlamın varsa cevap ver” gibi istemlerle (prompt) ikna etmeye çalışmak yerine çıktı formatını değiştirdi. Sistem artık her iddianın kendisini destekleyen tam veri parçasına (chunk) bir referans içerdiği bir JSON nesnesi gerektiriyor. Eğer model bir atıf ekleyemezse, yanıt reddediliyor ve kullanıcı net bir “Bilmiyorum” mesajı görüyor.

Zorunluluk, doğal dildeki talimatlardan şema doğrulamasına (schema validation) taşındı. Model hâlâ metin üretiyor ancak çevredeki kod, JSON'un kullanıcıya ulaşmadan önce gerekli yapıya uygun olup olmadığını kontrol ediyor.

Neler değişti

  • Parçalama (chunking) daha temkinli hale geldi. Belirsiz veya aşırı geniş parçalar artık atıf içermeyen iddialar üretiyor ve bu da “Bilmiyorum” geri dönüş mekanizmasını tetikliyor.
  • Sistem istemi (system prompt) küçüldü. Modelin davranışını denetlemeye çalışan ağır yüklemeli istemin yerini, işin büyük kısmını şemaya bırakan kısa bir talimat seti aldı.
  • Hatalar görünür hale geldi. Geri çağırma işlemi alakasız materyaller döndürdüğünde, asistan artık hatayı kendinden emin ama yanlış bir yanıtla maskelemiyor; belirsizliğini açıkça kabul ediyor.

Özet: RAG asistanları için her iddianın geri çağrılan bir kaynağa izlenebilir olmasını garanti etmek, kullanıcı güvenini sadece geri çağırma adımını iyileştirmekten daha güvenilir bir şekilde inşa eder. Eksik atıfları görünür bir “Bilmiyorum” mesajına dönüştürerek geliştiriciler, sistemin yanıt uydurmak yerine sınırlarını kabul etmesini sağlar.