Anthropic'in Fable 5 modeli, sadece oyunun görsel çıktısını kullanarak Pokémon FireRed'in Çince versiyonunu oynarken, 1.785 hamlede 65,40 $ harcayarak ilk spor salonu rozetini kazandı. Bu deneme, modelin herhangi bir metinsel komut olmadan oyunun tanınabilir bir bölümünü tamamlayabildiğini kanıtlıyor; ancak modelin düşünce zincirine yapılan derinlemesine bir inceleme, modelin her bir pikseli gerçekten "görmek" ve bunlar üzerine muhakeme yürütmek yerine, ezberlenmiş oyun bilgilerini tekrarladığını gösteriyor.

Anthropic'in iddiası test ediliyor

Anthropic, Fable 5'i piyasaya sürdüğünde, modelin Pokémon FireRed'de sadece ekrana bakarak yol aldığı "yalnızca görsel" (vision-only) bir demoyu öne çıkardı. Manşetler, sistemin herhangi bir görsel ortamı sıfırdan yorumlayabileceği izlenimini veriyordu. Bir geliştirici, Anthropic'in lansman sayfasında açıklanan kurulumu yeniden oluşturarak ve modeli oyunun Çince çevirisi üzerinde çalıştırarak bu iddiayı doğrulamaya karar verdi.

Deney nasıl yürütüldü

Özel bir düzenek (harness), modele ham video karelerini besledi ve modelin eylem seçimlerini kaydetti. Düzenek, Anthropic'in açıklamalarıyla örtüşecek şekilde, her yeni kareyi modele aktarıyor ve seçilen kontrolcü girişini geri okuyordu. Test, model ilk spor salonu rozetini kazanana kadar tam oyun döngüsünü çalıştırdı, ardından avatar Route 3'e ulaşana kadar 2.000. hamleye kadar devam etti.

Nicel sonuç netti:

  • İlk spor salonu rozeti 1.785 hamle sonra kazanıldı
  • Toplam hesaplama maliyeti 65,40 $
  • 2.000. hamlede avatar Route 3 üzerindeydi

Günlükler (logs) neyi ortaya koyuyor

Ancak ham günlükler, modelin oraya nasıl ulaştığına dair farklı bir hikaye anlatıyor. Modelin dahili "düşünce zinciri", henüz ekranda görünmemiş bilgileri defalarca not etti.

    1. hamlede model, oyun rakibin seçimini henüz göstermemiş olmasına rağmen, rakibin Charmander'ı seçeceğini not etti.
  • 141 hamle sonra, oyun sonunda oyuncuya Oak's Parcel'ı verdiğinde, model eşyanın adını çoktan notlarına kaydetmişti.
  • Route 3'te ilerlerken model, görsel akışta hiç görünmeyen ünlü bir diyalog satırını alıntılayarak belirli bir eğitmeni tanımladı.

Bu girişler, piksel piksel analizlerin bir ürünü değil. Bunlar, oyunun ayrıntılı bir senaryosunu içselleştirmiş bir sistemin alametnameleridir; yani interneti dolduran oyun rehberlerinde (walkthroughs), wikilerde ve hayran videolarında bulunan türden bir bilgi. Başka bir deyişle model, görüş yeteneğini sadece zaten ezbere bildiği bir haritayı teyit etmek için kullanıyor gibi görünüyor.

Görsel muhakeme kıyaslamaları (benchmarks) için neden önemli

Deney, birçok görsel muhakeme testindeki ince ama kritik bir kusuru vurguluyor:

  • Temiz girdi, temiz bir bilgi durumu garanti etmez. Tek kanal bir görüntü akışı olsa bile, model ezberlenmiş devasa bir bilgi havuzundan yararlanabilir.
  • Sistem istemleri (prompts) eğitim verilerini silemez. Tam bir oyun rehberini görmüş bir model, yeniden eğitilmeden bunu "unutmaya" zorlanamaz.
  • Performans algıyı değil, hafızayı ölçüyor olabilir. Test dünyası bilinen bir veri setiyle eşleştiğinde, model yeni görsel bilgileri gerçekten yorumlamak yerine kalıpları kalıplarla eşleştirerek başarılı olabilir.

Eğer kıyaslama testleri, "yalnızca görsel" (vision-only) yaklaşımını görsel muhakeme için bir vekil olarak görmeye devam ederse, yapay zekanın yeni ortamları anlama yeteneğine dair iddiaları şişirme riski taşırlar. Şirketler, temel beceri seti dar kalırken etkileyici rakamlarla övünebilirler; bu durum yatırımcılar, geliştiriciler ve gerçekten görülmemiş ortamlarda çalışması gereken güvenlik açısından kritik sistemler inşa eden herkes için önemlidir.

Karşı görüş: Ezberleme gerçekten bir sorun mu?

Bazıları, bilinen bir haritayı teyit etmenin hala bir tür muhakeme gerektirdiğini savunuyor: model, dahili temsilini mevcut görsel ipucuyla uyumlu hale getirmelidir. Bu perspektiften bakıldığında demo, görseli mevcut bir bilgi tabanını temellendirmek için kullanarak yararlı bir yeteneği sergiliyor. İtiraz haklıdır; görev gerçekten de algısal bir kontrol içeriyor.

Ancak temel kıyaslama hedefi, saklanmış bir senaryonun geri çağrılması değil, genel görsel çıkarımı değerlendirmektir. Bir model olayları henüz gerçekleşmeden tahmin edebildiğinde, test artık algıyı izole edemez hale gelir. Yararlı bir temellendirme ile doğrudan hile arasındaki çizgi bulanıklaşır ve sonuçlar tanısal değerini kaybeder.

Sonraki adımlar ve topluluk tepkisi

Ezberleme sınırlarını zorlamak için test uzmanı, şimdi aynı modeli coğrafyası değiştirilmiş, modifiye edilmiş bir harita üzerinde çalıştırıyor. Tüm kodlar, özel test düzeneği (harness) ve tam günlük (log) dosyaları, diğer araştırmacıları deneyi tekrarlamaya veya farklı oyunlara uygulamaya davet etmek amacıyla halka açıldı. Süregelen bir diyalog için bir öğrenme topluluğu platformunda bir tartışma kanalı da açıldı.

Temel Çıkarım

Modelin cevabı zaten bildiği için başarılı olan sadece görsel tabanlı (vision-only) bir demo, gerçek görsel muhakemenin kanıtı değildir. Kıyaslama testleri (benchmarks), ezberlenmiş bilgiyi anlık algıdan (on-the-fly perception) ayırmalıdır; aksi takdirde yapay zekanın gerçekten bilinmeyen görsel dünyalarda yol bulma yeteneğini olduğundan fazla gösterme riski taşırlar.