AWS, Bedrock hizmetine sorgu duyarlı sıkıştırma (query-aware compression) özelliği ekleyerek geliştiricilerin, ilgili olmayan belge parçalarını bir dil modeline ulaşmadan önce budamasını sağlıyor. Modele iletilen token sayısını azaltarak bu özellik, Retrieval-Augmented Generation (RAG) boru hatları için hesaplama maliyetini düşürebilir.

RAG boru hatları neden yüksek maliyet çıkarır?

RAG sistemleri önce bir bilgi tabanından metin pasajlarını çeker, ardından bu pasajları bir kullanıcının sorusunu yanıtlamak için üretken bir modele iletir. Çoğu uygulama, metnin büyük bölümlerinin sorguyla hiçbir ilgisi olmasa bile, getirilen her parçayı doğrudan modele gönderir. Her fazladan kelime bir token'a dönüşür ve modelin işlediği her token, altta yatan API maliyetini artırır. Destek botları veya dahili arama araçları çalıştıran küçük ve orta ölçekli şirketler için token harcamaları, model çağrılarının kendi maliyetini hızla gölgede bırakabilir.

Sorgu duyarlı sıkıştırma ne yapar?

Yeni Bedrock yeteneği, veri getirme (retrieval) ve üretme (generation) aşamaları arasına bir filtreleme adımı ekler:

  • Sistem, bir sorgu için yine aynı belge setini çeker.
  • Model herhangi bir metni görmeden önce, hafif bir işlemci her pasajı belirli soruya göre değerlendirir.
  • Yalnızca ilgili olduğu düşünülen kısımlar tutulur; geri kalan her şey gürültü olarak atılır.

Yeni bir dizine (index), embedding modeline veya ince ayar yapılmış (fine-tuned) bir dil modeline ihtiyacınız yoktur. Değişiklik, sadece boru hattını sıkıştırma katmanını çağıracak şekilde yeniden yapılandırmaktan ibarettir.

İş dünyasına etkisi

Token ücretleri modele gönderilen metin miktarıyla birlikte arttığı için, ilgisiz parçaları çıkarmak faturayı kalem kalem küçültebilir. Kullanım arttıkça RAG maliyetlerinin şiştiğine tanık olan şirketler, en büyük avantajı görecektir.

Bundan sonra neye dikkat edilmeli?

  • Özelliği kendi verilerinizle test edin: Standart bir RAG akışı ile sorgu duyarlı sıkıştırma içeren bir akışı yan yana test edin. Token sayısını, gecikmeyi (latency) ve yanıt alakasını ölçün.
  • Tedarikçi şeffaflığı: Üçüncü taraf RAG platformlarını değerlendirirken, veri getirme boru hatlarında sıkıştırma veya filtreleme kullanıp kullanmadıklarını sorun. Ham parçaları gönderen bir tedarikçi, muhtemelen daha yüksek aylık faturalar çıkaracaktır.

Özetle

Boru hattında yapılacak mütevazı bir değişiklik —ilgili olmayan metni modele ulaşmadan önce filtrelemek— gizli bir gideri kontrol edilebilir bir kalem haline getirebilir. Halihazırda Bedrock tabanlı RAG için ödeme yapan kuruluşlar için sorgu duyarlı sıkıştırmayı etkinleştirmek düşük eforlu bir deneydir, ancak elde edilecek tasarruf verilerinizin niteliğine bağlı olacaktır.