GraphRAG ve kalıcı bağlamsal bellek (persistent contextual memory), konuşmanın bir sayfa yenilemesinden veya yeni bir tarayıcı sekmesinden sonra da devam etmesi için artık yapay zeka sohbet botlarına entegre ediliyor. Geliştiriciler, bu kombinasyonun çoğu konuşmalı asistanın kullanıcılarını hayal kırıklığına uğratan "sekme kapatınca unutma" (tab-kill) sorununu ortadan kaldırdığını söylüyor.

Eski yaklaşım neden yetersiz kalıyor

Çoğu sohbet tabanlı yapay zeka sistemi, standart Veri Alımıyla Güçlendirilmiş Üretim (Retrieval-Augmented Generation - RAG) yöntemine dayanır. İş akışı, mevcut soruya benzeyen metin parçalarını çeker, bunları bir dil modeline besler ve bir yanıt döndürür. Tek bir gerçek sorgusu için —"Fransa'nın başkenti neresidir?"— bu yöntem iyi çalışır.

Ancak RAG, her kullanıcı girdisini izole bir istek olarak ele alır. Bir takip sorusu dakikalar önce söylenen bir şeye bağlı olduğunda, modelin bu bağlamla ilgili hiçbir hafızası olmaz. Sonuç, size kendinizi tekrarlamanızı söyleyen veya önceki ayrıntıları görmezden gelen bir yanıt veren bir sohbet botudur. Sorun zeka eksikliği değil, durum (state) eksikliğidir.

GraphRAG: Düz metni bir ağa dönüştürmek

GraphRAG, veri alımı aşamasını yeniden şekillendirir. İlişkisiz metin parçalarından oluşan bir liste yerine bir grafik (graph) oluşturur:

  • Düğümler (Nodes); insanlar, ürünler veya olaylar gibi varlıkları temsil eder.
  • Kenarlar (Edges); aralarındaki ilişkileri yakalar —kim neyi tedarik ediyor, hangi proje hangi bileşene bağlı vb.

Grafik bağlantıları kodladığı için sistem çok adımlı (multi-hop) muhakeme yapabilir: düz metin aramasının zorlanacağı bir sorguyu yanıtlamak için birkaç belge boyunca bir gerçekler zincirini takip edebilir. Ayrıca, tüm alt grafiklerin özetlerini oluşturarak kullanıcılara kopuk alıntılar yerine bir konu hakkında özlü bir genel bakış sunabilir.

Bağlamsal bellek: Konuşmayı hatırlamak

Kalıcı bağlamsal bellek, grafiğin üzerine zamansal bir katman ekler. Üç parçaya ayrılır:

  • Kısa süreli bellek (Short-term memory); mevcut sıra sıra diyalogları tutar, böylece kullanıcının birkaç cümle önce söylenen bir noktayı yeniden belirtmesine gerek kalmaz.
  • Uzun süreli bellek (Long-term memory); oturumlar boyunca kullanıcı hakkında seçici gerçekleri kaydeder —tercih edilen dil, tekrarlanan sorunlar veya önceki satın alımlar.
  • Seçici bellek (Selective memory); depolama alanını şişirmemek için dolgu kelimelerini ve ilgisiz sohbetleri atarak nelerin tutulacağına karar verir.

Bir kullanıcı sekmeyi kapattıktan sonra geri döndüğünde, uzun süreli depolama ilgili arka plan bilgilerini yüzeye çıkarabilir ve sohbet botunun son oturumun kaldığı yerden devam etmesini sağlayabilir.

Hangi araç ne zaman kullanılmalı

  • Bağlantı kaçırmanın maliyetinin düşük olduğu basit gerçek kontrolleri için standart RAG ile devam edin.
  • Yanlış bir cevabın maliyetinin yüksek olduğu veya cevabın birden fazla belgeye yayılmış bilgileri ilişkilendirmeyi gerektirdiği durumlarda GraphRAG kullanın.
  • Uygulamanın geri dönen kullanıcıları tanıması veya günler veya haftalar boyunca kişisel bir bağ kurması gerekiyorsa bağlamsal bellek ekleyin.

Bu katmanları inşa etmek "tak-çalıştır" tarzı bir uygulama değildir. Kaynak veriler değiştikçe bir GraphRAG dizini yenilenmelidir ve bellek deposunun, alaka düzeyi ile depolama maliyeti arasında denge kuran politikalara ihtiyacı vardır. Aşırı tutucu davranmak —söylenen her kelimeyi saklamak— veri alımını hızla yavaşlatır ve modeli gürültü içinde boğar.

Ödünleşim (The trade-off)

Bağlamsal Bellek, unutma sorununu çözer. Dezavantajı ise operasyoneldir: canlı bir grafiği ve seçici bir bellek önbelleğini (cache) sürdürmek sürekli bir mühendislik çabası gerektirir.

Sırada ne var?

Özet: GraphRAG ilişkisel omurgayı sağlarken, kalıcı bağlamsal bellek zamansal yapıştırıcıyı sağlar. Birlikte, sohbet botlarının sekmeler ve oturumlar arasında konuyu canlı tutmalarına olanak tanıyarak, sinir bozucu bir sıfırlama sürecini kesintisiz bir konuşmaya dönüştürürler.