Amazon Bedrock artık geliştiricilerin bir istemin (prompt) bölümlerini önbelleğe almasına olanak tanıyarak, statik bir istem öneki kullanan uygulamalar için token kullanım faturalarını %90'a varan oranlarda düşürüyor ve yanıt gecikmesini %85'e kadar azaltıyor.

Bu değişiklik neden önemli

Büyük dil modellerini talep üzerine çalıştırmak, modele her token gönderildiğinde maliyet yaratır. Sohbet botları, kod asistanları ve belge arama araçları genellikle aynı sistem talimatlarını veya referans materyallerini tekrar göndererek harcamaları artırır ve yanıtları yavaşlatır.

İstem önbelleğe alma nasıl çalışır

Bedrock, geliştiricilerin bir istemin herhangi bir bölümüne —genellikle oturum boyunca hiç değişmeyen sistem düzeyindeki talimatlar, uzun arka plan belgeleri veya araç tanımları— ekleyebileceği bir “cacheable” (önbelleğe alınabilir) bayrağı ekler. Bir istek geldiğinde Bedrock, işaretlenen bölümün saklanan bir girdiyle eşleşip eşleşmediğini kontrol eder. Eğer eşleşiyorsa, servis bu bölümün yeniden kodlanmasını ve model üzerinden tekrar çalıştırılmasını atlar; bunun yerine önceden hesaplanmış temsili önbellekten çeker.

Rakamlar

  • Giriş token maliyeti: Önbelleğe alınan önek artık her çağrıda token tüketmediği için %90'a varan düşüş.
  • Gecikme: Statik kısım için modelin ağır iş yükünden kaçınıldığından %85'e kadar daha hızlı.

En uygun senaryolar

Bu özellik, istem büyük ve değişmeyen bir blok ile onu takip eden kısa, değişken bir kullanıcı sorgusu içerdiğinde öne çıkar. Yaygın kalıplar şunlardır:

  • Her sorgunun başına getirilen bir belgeyi ekleyen Veri Geri Getirme ile Zenginleştirilmiş Üretim (RAG) iş akışları.
  • Her zaman aynı politika beyanı veya ton belirleyici metinle başlayan müşteri destek botları.
  • Geliştiricinin kod parçacığından önce sabit bir dil aracı tanımı yükleyen kodlama asistanları.

Geliştiricilerin neleri değiştirmesi gerekiyor

Geliştiriciler, statik içeriğin en başta yer alması ve çağrılar arasında bayt düzeyinde (byte-for-byte) tamamen aynı kalması için istemi yeniden düzenlemelidir. Değişken kullanıcı girişi, önbelleğe alınan öneğin ardından gelir. Herhangi bir model değişikliği gerekmez; aynı Bedrock uç noktaları (endpoints) isteği işler.

Kimler kazanıyor, kimler dikkat etmeli

Avantaj, yalnızca önekin gerçekten statik kaldığı iş yükleri için geçerlidir. Sistem talimatlarını kullanıcıya özel hale getiren veya bağlamı sık sık değiştiren uygulamalar çok az fayda görecektir ve ek istem karmaşıklığını elde edilecek mütevazı kazançlarla kıyaslamalıdır.

Özetle: İstem önbelleğe alma, uygulamaları yeniden kullanılabilir bir istem öneki izole edebildiği sürece, Bedrock kullanıcılarına yapay zeka işletme maliyetlerini düşürmek ve yanıt sürelerini iyileştirmek için doğrudan bir imkan sunar.