AI Karakterleri Kimliklerini Neden Unutur
Bir karakter oluşturmak için iki saatinizi harcıyorsunuz. Otuz turdan sonra karakter adını unutuyor. Sıradan bir asistan gibi davranmaya başlıyor.
Çoğu insan yapay zekanın hafızasının kötü olduğunu düşünüyor. Bu düşünce yanlış.
Sorun, bağlam penceresidir (context window).
Sohbet modelleri durumsuzdur (stateless). Her mesaj gönderdiğinizde uygulama; sistem istemini (system prompt), karakter detaylarını ve son sohbet geçmişinizi modele geri gönderir.
Hafıza dediğiniz şey, aslında sadece o girdi penceresinin içinde kalan geçmişten ibarettir.
Sohbet çok uzadığında, eski mesajlar pencerenin dışında kalır. 41. tura yer açmak için 12. turdaki detay kaybolur. Model unutmaz. Uygulama sadece bilgiyi ona göstermeyi bırakır.
Daha büyük bir bağlam penceresi çözüm değildir.
Büyük pencereler iki soruna yol açar:
- Maliyet ve hız. Pencere boyutunu iki katına çıkarmak, hesaplama ihtiyaçlarını önemli ölçüde artırır. Uygulamalar, yanıtları hızlı ve ucuz tutmak için pencereyi genellikle sınırlar.
- Orta kısım bozulması (middle degradation). Araştırmalar, modellerin uzun bir metnin başında veya sonunda gerçekleri iyi bulduğunu, ancak ortada gömülü kalan gerçekleri kaçırdığını gösteriyor.
En iyi uygulamalar ham pencere boyutuna güvenmezler. İki özel yöntem kullanırlar:
- Özyinelemeli özetleme (recursive summarization): Uygulama, eski mesajları kısa bir özete dönüştürür. Bu, çok fazla yer kaplamadan temel gerçekleri canlı tutar.
- Erişim (retrieval): Uygulama, eski mesajları bir veri tabanında saklar. İhtiyacınız olduğunda sadece ilgili gerçekleri çeker. Lorebook'lar bu şekilde çalışır.
İyi bir uygulama ile kötü bir uygulama arasındaki fark mimaridir. Biri bir hafıza katmanı kullanırken, diğeri sadece ham bir pencerenin üzerine kurulmuş ince bir sarmalayıcıdan (wrapper) ibarettir.
Eğer karakteriniz kişiliğini kaybediyorsa, daha büyük bir model kullanmayın. Yapıyı değiştirin. Eski turları özetleyin. Önemli olanları geri çağırın.
Bağlam penceresine bir sabit disk gibi değil, bir önbellek (cache) gibi davranın.
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi