Başlık: Bir Aracı Yeniden Adlandırın, Tüm Önbelleği Kaybedin

Anthropic'in yeni önbellek (cache) fiyatlandırması, tek bir karakterlik değişikliğin —bir aracı yeniden adlandırmak veya bir sistem istemine (system prompt) zaman damgası eklemek gibi— ucuz bir önbellek eşleşmesini (cache hit) tam fiyatlı bir eşleşmeme (cache miss) dönüştürebileceği ve faturaları onlarca kat kabartabileceği anlamına geliyor.

Bu değişim, Anthropic'in iki kademeli önbellek indiriminden kaynaklanıyor. Bazı modeller için önbellekten okuma maliyeti normal girdi fiyatının yalnızca 0,025 × kadarıyken; diğerleri için indirim 0,1 × seviyesindedir. İndirim, yalnızca istek daha önce önbelleğe alınmış bir girişle tam olarak eşleştiğinde uygulanır. Eşleşmeyen durumlar (misses) temel orandan faturalandırılır, bu nedenle eşleşme (hit) ve eşleşmeme (miss) arasındaki fark dramatik bir şekilde açılır. Uygulamada, küçük bir istem değişikliği maliyeti beklenen tutarın kırk katına kadar çıkarabilir.

Bu değişiklik neden önemli

Anthropic, aynı araç setini tekrar tekrar çağıran ajanlarda yaygın bir model olan özdeş istemlerin yeniden kullanımını teşvik etmek için önbellek kademesini ekledi. Fikir basit: bir istem-araç kombinasyonunun sonucunu bir kez saklayın ve sonraki çağrılarda bunu ucuza geri getirin. Yeni çarpanlar "getirme" (retrieval) tarafını çok daha ucuz hale getirirken, "eşleşmeme" (miss) durumundaki cezayı da çok daha ağırlaştırıyor.

Kararlı sistem istemleri etrafında ajanlar inşa eden geliştiriciler, artık kasıtlı veya kazara meydana gelen her türlü sapmanın önbellek zincirini bozduğunu görüyor. Bunun sonucu, hizmet üzerinde gizli bir vergi: daha düşük bir önbellek eşleşme oranı (cache-hit ratio), doğrudan daha yüksek işletme maliyetlerine dönüşüyor.

Önbelleği ne bozar

Anthropic'in dokümantasyonu, üst seviyelerdeki değişikliklerin altlarındaki her şeyi geçersiz kıldığı bir hiyerarşi tanımlıyor. Bunun pratik sonucu, görünüşte zararsız düzenlemelerin tam fiyatlı bir ücrete dönüşebilmesidir.

  • Araç tanımları – Bir aracı eklemek, çıkarmak, yeniden adlandırmak veya açıklamasını değiştirmek; araçlar, sistem istemi ve tüm mesaj geçmişi için önbelleği temizler.
  • Web arama anahtarı (toggle) – Web arama aracını etkinleştiren boolean değerini değiştirmek, sistem istemini ve mesaj önbelleğini temizler.
  • Tool-choice parametresi – Hangi aracın çalıştırılacağını seçen parametreyi değiştirmek, yalnızca mesaj önbelleğini geçersiz kılar.
  • Görüntü yükleri (payloads) – Görüntü eklemek veya çıkarmak yalnızca mesaj önbelleğini etkiler.

Geliştiricilerin istemeden tetiklediği yaygın modeller:

  1. Araçların yeniden sıralanması – Bazı kod tabanları, her dağıtımda araç sözlüklerini sıralar. Yeni sıralama farklı bir önbellek anahtarı (cache key) oluşturarak her seferinde eşleşmeme (miss) durumuna yol açar.
  2. Zaman damgalı istemler – Sistem istemine “generated at HH:MM:SS” gibi bir metin yerleştirmek, her isteği benzersiz kılarak eşleşmeme (miss) durumunu garantiler.
  3. İstem parçalarının döndürülmesi – Bir selamlama veya bir sürüm banner'ını değiştirmek, istem hash'ini değiştirir ve önbelleği bozar.

Gizli maliyeti tespit etme

Anthropic'in kullanım günlükleri, önbellek dinamiğini üç alan üzerinden ortaya koyar:

  • cache_read_input_tokens – Bir önbellek girişinden okunan token'lar.
  • cache_creation_input_tokens – Yeni bir önbellek girişinin saklanmasına neden olan token'lar.
  • input_tokens – Normal orandan faturalandırılan token'lar (önbellekten okumalar sonrası kalan miktar).

cache_read_input_tokens değerindeki bir düşüşle birlikte input_tokens değerinde ani bir artış yaşanması, istem yığınında (prompt stack) bir şeylerin değiştiğine işaret eder. Bu metrikleri izlemek, ekiplerin fatura şişmeden önce harekete geçmesini sağlar.

Geliştiricinin yanıtı

Yeni fiyatlandırma gerçeğiyle karşı karşıya kalan birçok ekip, artık istem kararlılığını (prompt stability) birinci sınıf bir performans metriği olarak ele alıyor. Yaygın stratejiler şunları içerir:

  • Statik sistem istemleri – İstemleri sürüm kontrollü bir dosyada saklayın ve çalışma zamanı (runtime) değişiklikleri yapmadan enjekte edin.
  • Deterministik araç sıralaması – Sözlük sıralamasına veya harici oluşturuculara güvenmek yerine, araç listelerini doğrudan kod içinde tanımlayın.
  • Zaman damgasının kaldırılması – Günlükleme veya zamanlama bilgilerini, istem dizgisini etkilemeyen ayrı bir meta veri kanalına taşıyın.
  • Önbellek duyarlı testler – Tam istemin (sistem + araçlar + mesajlar) hash değerinin derlemeler arasında sabit kaldığını doğrulayan birim testleri ekleyin.

Bu uygulamalar küçük bir mühendislik yükü getirse de, bir önbellek eşleşmemesinin (cache miss) artık temsil ettiği "gizli vergiye" karşı koruma sağlar.

Anthropic'in bakış açısı

Anthropic, daha derin indirimin yeniden kullanımı teşvik ettiğini ve bunun da sunucularındaki toplam hesaplama yükünü azaltabileceğini savunuyor. Önbellekten okumaları dramatik bir şekilde ucuzlaştırarak, geliştiricilerin istemleri sürekli yeniden şekillendirmek yerine aynı araç setini tekrar tekrar çağıran ajanlar tasarlamasını umuyorlar. Bunun karşılığında, yeniden kullanılamayan çağrılar için daha yüksek bir ceza uygulanıyor; şirket bunun geliştiricileri daha iyi bir "istem hijyenine" (prompt hygiene) yönlendirdiğini belirtiyor.

Eleştirmenler, birçok gerçek dünya ajanının istemleri anlık olarak uyarlaması gerektiğini; bağlam, zaman damgaları veya dinamik araç seçimleri eklemenin genellikle elzem olduğunu belirtiyor. Bu tür iş yükleri için yeni fiyatlandırma, Anthropic'i, önbellek isabetlerinden bağımsız olarak sabit ücret alan sağlayıcılara kıyasla daha az cazip hale getirebilir.

Bundan sonra neye dikkat edilmeli

  • Fiyatlandırma revizyonları – Topluluk geri bildirimleri isabet-kaçırma farkının çok geniş olduğunu gösterirse, Anthropic çarpanları ince ayar yaparak değiştirebilir.
  • Önbellek kontrol (cache-control) özellikleri – Gelecekteki API güncellemeleri, geliştiricilerin bir istemin hangi bölümlerinin önbellek anahtarından (cache key) hariç tutulacağını belirlemesine olanak tanıyarak orta bir yol sunabilir.
  • Rakip yanıtları – Diğer LLM sağlayıcıları, rekabetçi kalabilmek için ya daha sabit fiyatlandırma sunarak ya da daha ayrıntılı önbellek kontrolleri sağlayarak kendi önbellek modellerini ayarlayabilirler.

Özet

Anthropic'in yeni önbellek fiyatlandırmasıyla birlikte, bir istem kaçırmanın (prompt miss) maliyeti artık marjinal bir rahatsızlık değil; bir projenin bütçesini çarpıcı biçimde değiştirebilecek finansal bir kaldıraçtır. Sistem istemlerini, araç tanımlarını ve ilgili meta verileri değişmez (immutable) tutmak, artık verimli kod yazmak kadar önemlidir. İstem determinizmini ölçülebilir bir metrik olarak ele alan ekipler, sürpriz faturalardan kaçınacak ve yapay zeka ajanı giderlerini kontrol altında tutacaktır.