Geçen Salı kullandığınız aynı sohbet penceresini açıyorsunuz ve yapay zeka tam bıraktığınız yerden devam ediyor. Önceki talimatlarınıza atıfta bulunuyor, alaycı tonunuzu yansıtıyor ve o raporu bitirip bitirmediğinizi soruyor. Bir an için, gerçekten dikkat eden bir meslektaşla çalışıyormuşsunuz gibi hissettiriyor. Sonra yeni bir sohbet başlatıyorsunuz ve her şey yok oluyor. Ton düzleşiyor. Proje detayları kayboluyor. Size yanlış isimle hitap ediyor. Ne oldu?

Makine sizi unutmadı. Aslında sizi en başından beri tanımıyordu bile.

Hafıza İllüzyonu

Her yerde hafıza görmeye programlanmışızdır. Bir sohbet botu, kısa madde işaretlerini tercih ettiğinizi veya sağlık sektöründe çalıştığınızı hatırladığında, bu durum bir barmenin her zamanki siparişinizi hatırlamasıyla aynı içgüdüyü tetikler. Ancak bu bilişsel bir süreç değil, bir tasarım hilesidir. Büyük dil modelleri, hakkınızdaki gerçekleri kendi ağırlıklarının (weights) içinde saklamazlar. Etkileşimlerinizin tutulduğu bir günlükleri yoktur. "Kullanıcı Tercihleri" etiketli bir klasöre göz atamazlar çünkü böyle bir klasör mevcut değildir.

Hafıza gibi görünen şey, aslında sadece bir bağlam penceresinde (context window) duran metindir. Model; son sohbet geçmişini, mevcut isteminizi (prompt) ve geliştirici tarafından eklenen tüm sistem talimatlarını okur. Tüm bunları tek bir bakışta işler, bir sonraki kelimeyi tahmin eder ve yanıt verir. O metin kaybolduğunda, "hafıza" da kaybolur. Model, genellikle kendinden emin, genel geçer ve biraz fazla hevesli olan temel davranış biçimine geri döner. İllüzyon, yapay zeka hafızasını kaybettiği için değil, bağlam değiştiği için yıkılır.

Yapay Zekanın Aslında Kullandığı Şeyler

Güvenilir sonuçlar almak istiyorsanız, bilginin gerçekte geldiği dört yeri anlamanız gerekir:

  • Sohbet geçmişi: Mevcut dizinizdeki son karşılıklı konuşmalar. Bu geçicidir. Yeni bir dizi başlatırsanız yok olur.
  • İstemdeki (prompt) özel talimatlar: Şu anda kutucuğa yazdığınız veya yapıştırdığınız her şey. Bu, kontrolün en doğrudan biçimidir.
  • Bir bilgi tabanından gelen belgeler: Sistemin arama yapabileceği ve isteme enjekte edebileceği dosyalar veya veri tabanları. Bu, bir geri çağırma (retrieval) adımı gerektirir ve bu adım sessizce başarısız olabilir.
  • Bir iş akışından çekilen veriler: API çağrıları, veri tabanı sorguları veya üçüncü taraf uygulamalar tarafından eklenen hafıza özellikleri. Bunlar, yalnızca onları birbirine bağlayan kod kadar iyidir.

Bunların hiçbiri organik bir hafıza değildir. Bunlar sadece tesisattır. Eğer bir boru yerinden çıkarsa veya isteme yanlış bir belge çekilirse, yapay zeka sizi uyarmayacaktır. Sadece gördüklerini kullanacak ve cilalı, inandırıcı ama tamamen yanlış bir cevap üretecektir.

Bağlam Koptuğunda: Gerçek Bir Örnek

Bir yapay zekadan müşteri e-postaları taslağı hazırlamasını isteyen bir pazarlama ekibi hayal edin. Pazartesi günü Sarah bir sohbet başlatır ve kısa bir stil kılavuzu yapıştırır: "Sakin, ölçülü bir dil kullan. Ünlem işaretlerinden kaçın. Sadece şirket adıyla imzala." Yapay zeka kılavuzu mükemmel bir şekilde takip eder. Ekip taslaklara bayılır.

Çarşamba günü Jake yepyeni bir sohbet açar. "Takip müşteri e-postalarını taslakla" yazar. Stil kılavuzunu yapıştırmaz. Yapay zeka, aksine bir talimat görmediği için varsayılan olarak yüksek enerjili pazarlama diline döner. Ünlem işaretleri havada uçuşur. "Hadi bunu parçalayalım!" gibi önerilerde bulunur. Ekip oflar. "Yapay zeka neden unuttu?" diye sorarlar.

Unutmadı. Unutulacak bir şey yoktu. Jake, yeni bağlam penceresine stil kılavuzunu dahil etmeyi başaramadı ve modelin, ekibin iki gün önce farklı bir konuşmada bir kural belirlediğini bilmesinin bir yolu yoktu. Hayal kırıklığı gerçekti ancak neden mekanik değil, insaniydi. Ekip kalıcı bir hafıza bekliyordu. Araç ise sadece geçici bir not defteri sunuyordu.

Gerçek Test: Makinenin Ne Gördüğünü Denetleyin

Sonuçlarınızı iyileştirmenin en hızlı yolu, "Yapay zeka bunu hatırlıyor mu?" diye sormayı bırakıp "Şu anda gerçekte hangi bağlamı alıyor?" diye sormaya başlamaktır. Kurulumunuzu üç soru üzerinden test edin:

Yapay zekanın her seferinde neyi bilmesi gerekiyor? Bu, taviz verilemez bağlamınızdır. Marka sesi, güvenlik politikaları, çıktı formatları, uyumluluk kısıtlamaları. Eğer kritikse, üç hafta önceki bir sohbet dizisinde değil, her ilgili isteme enjekte edilen bir referans belgesinde yer almalıdır.

Daha sonra geri çağırmak (retrieval) için neleri saklayabilirsiniz? Geçmiş proje notları, ürün özellikleri veya geçmiş araştırmalar yapılandırılmış bir dosyada veya veri tabanında tutulabilir. Ancak depolama tek başına yeterli değildir. Sistemin, o depolamanın hangi parçasını konuşmaya dahil etmeye karar verdiğini tam olarak bilmeniz gerekir. Eğer geri çağırma bir anahtar kelime eşleşmesine bağlıysa, isteminizdeki biraz farklı bir ifade yanlış sayfayı getirebilir.

Bir kişi neleri manuel olarak kontrol etmelidir? Hatanın maliyetinin yüksek olduğu durumlarda —finansal rakamlar, tıbbi özetler, hukuki dil, müşteriye yönelik duyurular— iş akışına körü körüne güvenmeyin. Bir insanın, yapay zekanın belgenin doğru sürümünü kullandığını ve çıktının gerçek dünyada mantıklı olup olmadığını doğrulaması gerekir. Model, size az önce geçen yılın fiyat listesini alıntıladığını söyleyemez. Prompt içerisine yazmadığınız sürece hangi yılda olduğumuzu bilemez.

Bağlam Öncelikli Bir İş Akışı Oluşturmak

Güvenilir yapay zeka çalışmaları, büyük ölçüde iyi bir bilgi mimarisidir. İşte bunu nasıl inşa edeceğiniz:

Sabit kurallarınızı bir referans belgesine koyun. Bu, sizin tek doğruluk kaynağınızdır (single source of truth). Kurallar değiştiğinde, sadece bu dosyayı düzenleyin. Talimatları düzinelerce sohbet dizisine yaymayın.

O belgenin yalnızca ilgili kısımlarını üzerinde çalışılan göreve iletin. Yüz sayfalık bir kılavuzu prompt içerisine boşaltmak maliyetli ve gürültülüdür. Bu özel soru için önemli olan iki sayfayı geri çağırın. Hassasiyet, hacimden daha önemlidir.

Kısa vadeli detayları aktif prompt içerisinde tutun. Elektrikli bisikletler hakkında bir blog yazısı için başlık fikirleri üretiyorsanız, prompt içerisinde "elektrikli bisikletler"den bahsedin. Dün bahsettiğiniz için modelin ne düşündüğünüzü bildiğini varsaymayın.

Hataların maliyetli olduğu durumlarda çıktıları incelemek için bir insan kullanın. Yapay zeka asla utanmayacaktır. Yanlış bir faturayı veya duruma uygun olmayan bir özrü, diğer her şeyde gösterdiği güvenle gönderecektir. Birinin mantık kontrolü (sanity check) yapması gerekir.

Katmanlar Halinde Düşünün

Yapay zeka bilgilerini, her biri kendi güvenilirliğine ve risklerine sahip, üst üste binmiş dört katman olarak hayal etmek yardımcı olur.

Anlık bağlam (Immediate context) mevcut prompt'tur. Bu, %100 sizin kontrolünüz altındadır, ancak yalnızca yazmaya zahmet ederseniz. Belirsiz prompt'lar belirsiz sonuçlar doğurur.

Saklanan bağlam (Stored context) bir yerlere kaydettiğiniz bilgilerdir: bir Notion wikisi, bir vektör veritabanı veya bir PDF klasörü. Bilgi mevcuttur ancak bir şey aradaki boşluğu doldurana kadar yapay zeka onu göremez.

Getirilen bağlam (Retrieved context); arama mantığı, kod veya bir eklenti aracılığıyla depolamadan prompt içerisine çekilen verilerdir. Sessiz hataların çoğu burada gerçekleşir. Sistem, güncellenmiş sözleşme yerine eski bir sözleşmeyi getirebilir veya bir hesap çizelgesi yerine bir ekran görüntüsü çekebilir.

İnsan bağlamı (Human context); neyin doğru, neyin önemli ve neyin yanlış göründüğü hakkındaki kendi yargınızdır. Bir cevabın güncelliğini yitirip yitirmediğini, bir kaynağın güvenilir olup olmadığını veya tonun ana uygun olup olmadığını bilen tek katman budur. Bu katmanı dış kaynaklara devretmeyin.

En iyi sonuçları alan ekipler daha akıllı modeller kullanmıyorlar. Onlar, bağlamın görünür, versiyonlanmış ve doğrulanmasının kolay olduğu sistemler inşa ediyorlar. Kusursuz bağlama sahip bir yapay zekanın, kötü bilgilerle çalışan dahi bir modelden her seferinde daha iyi performans göstereceğini biliyorlar.

Bu yüzden bu araçlara azarlanmaya ihtiyacı olan unutkan stajyerler gibi davranmayı bırakın. Onlara birer mercek gibi davranın. Onlar size sadece önlerine koyduğunuz şeyi gösterirler. Manzarayı suçlamadan önce merceği kontrol etme alışkanlığı edinin.

GyaanSetu AI öğrenme topluluğuna katılın: https://t.me/GyaanSetuAi