Judul: Ubah Nama Satu Tool, Kehilangan Seluruh Cache

Skema harga cache baru dari Anthropic berarti perubahan satu karakter saja—mengubah nama tool atau menambahkan timestamp pada system prompt—dapat mengubah cache hit yang murah menjadi cache miss dengan harga penuh, sehingga membengkakkan tagihan hingga puluhan kali lipat.

Perubahan ini berasal dari diskon cache dua tingkat dari Anthropic. Untuk beberapa model, pembacaan cache hanya berbiaya 0,025 × harga input reguler; untuk model lainnya, diskonnya adalah 0,1 ×. Diskon ini hanya berlaku jika permintaan cocok secara persis dengan entri yang telah di-cache sebelumnya. Cache miss ditagih dengan tarif dasar, sehingga celah antara hit dan miss melebar secara drastis. Dalam praktiknya, perubahan prompt yang kecil sekalipun dapat mendorong biaya hingga empat puluh kali lipat dari jumlah yang diharapkan.

Mengapa perubahan ini penting

Anthropic menambahkan tier cache untuk mendorong penggunaan kembali prompt yang identik, sebuah pola umum pada agent yang berulang kali memanggil toolset yang sama. Idenya sederhana: simpan hasil kombinasi prompt-tool satu kali, lalu ambil kembali dengan murah pada panggilan berikutnya. Multiplier baru ini membuat sisi "pengambilan" (retrieval) jauh lebih murah, tetapi juga membuat penalti untuk "miss" menjadi jauh lebih berat.

Developer yang membangun agent berdasarkan system prompt yang stabil kini melihat setiap pergeseran—baik disengaja maupun tidak—memutus rantai cache. Hasilnya adalah pajak tersembunyi pada layanan tersebut: rasio cache-hit yang lebih rendah langsung diterjemahkan menjadi biaya operasional yang lebih tinggi.

Apa yang merusak cache

Dokumentasi Anthropic menjelaskan sebuah hierarki di mana perubahan pada level yang lebih tinggi akan membatalkan (invalidate) semua yang ada di bawahnya. Dampak praktisnya adalah pengeditan yang tampaknya tidak berbahaya dapat berdampak beruntun (cascade) menjadi biaya harga penuh.

  • Definisi tool – Menambah, menghapus, mengubah nama tool, atau mengubah deskripsinya akan menghapus cache untuk tool, system prompt, dan seluruh riwayat pesan.
  • Toggle web-search – Mengubah nilai boolean yang mengaktifkan tool web-search akan menghapus system prompt dan cache pesan.
  • Parameter tool-choice – Mengubah parameter yang memilih tool mana yang akan dijalankan hanya akan membatalkan cache pesan.
  • Payload gambar – Menambah atau menghapus gambar hanya memengaruhi cache pesan.

Pola umum yang tidak sengaja dipicu oleh developer:

  1. Mengubah urutan tool – Beberapa codebase mengurutkan dictionary tool pada setiap deployment. Urutan baru akan menciptakan cache key yang berbeda, sehingga memaksa terjadinya miss setiap saat.
  2. Prompt dengan timestamp – Menyematkan string “generated at HH:MM:SS” dalam system prompt membuat setiap permintaan menjadi unik, yang menjamin terjadinya miss.
  3. Rotasi fragmen prompt – Mengganti salam atau banner versi akan mengubah hash prompt dan merusak cache.

Mendeteksi biaya tersembunyi

Log penggunaan Anthropic menunjukkan dinamika cache melalui tiga field:

  • cache_read_input_tokens – Token yang dibaca dari entri cache.
  • cache_creation_input_tokens – Token yang menyebabkan entri cache baru disimpan.
  • input_tokens – Token yang ditagih dengan tarif reguler (sisanya setelah pembacaan cache).

Kenaikan tiba-tiba pada input_tokens yang disertai dengan penurunan pada cache_read_input_tokens menandakan adanya sesuatu yang bergeser dalam tumpukan prompt. Memantau metrik ini memungkinkan tim untuk bereaksi sebelum tagihan membengkak.

Respons developer

Menghadapi realitas harga yang baru, banyak tim kini memperlakukan stabilitas prompt sebagai metrik performa utama. Strategi umum meliputi:

  • System prompt statis – Simpan prompt dalam file yang dikontrol versi (version-controlled) dan masukkan tanpa modifikasi saat runtime.
  • Pengurutan tool yang deterministik – Definisikan daftar tool secara langsung di dalam kode daripada mengandalkan pengurutan dictionary atau generator eksternal.
  • Penghapusan timestamp – Pindahkan informasi logging atau waktu ke saluran metadata terpisah yang tidak memengaruhi string prompt.
  • Pengujian sadar-cache (cache-aware testing) – Tambahkan unit test yang memverifikasi bahwa hash dari prompt lengkap (system + tools + messages) tetap konstan di seluruh build.

Praktik-praktik ini menambah sedikit beban kerja engineering tetapi melindungi dari "pajak tersembunyi" yang kini diwakili oleh cache miss.

Perspektif Anthropic

Anthropic berargumen bahwa diskon yang lebih besar mendorong penggunaan kembali, yang dapat mengurangi beban komputasi secara keseluruhan pada server mereka. Dengan membuat pembacaan cache jauh lebih murah, mereka berharap developer akan merancang agent yang memanggil toolset yang sama secara berulang kali daripada terus-menerus mengubah bentuk prompt. Imbalannya (trade-off) adalah penalti yang lebih tinggi untuk panggilan yang tidak dapat digunakan kembali, yang menurut perusahaan akan mendorong developer menuju kebersihan prompt (prompt hygiene) yang lebih baik.

Para kritikus mencatat bahwa banyak agen dunia nyata perlu menyesuaikan prompt secara langsung—menambahkan konteks, stempel waktu, atau pemilihan alat yang dinamis sering kali sangat penting. Untuk beban kerja tersebut, skema harga baru ini dapat membuat Anthropic menjadi kurang menarik dibandingkan dengan penyedia yang mengenakan tarif tetap tanpa mempedulikan cache hits.

Apa yang perlu diperhatikan selanjutnya

  • Revisi harga – Anthropic mungkin akan menyesuaikan pengali (multipliers) jika umpan balik komunitas menunjukkan bahwa kesenjangan hit-miss terlalu lebar.
  • Fitur cache-control – Pembaruan API di masa mendatang dapat memungkinkan pengembang menentukan bagian mana dari prompt yang harus dikecualikan dari cache key, sehingga menawarkan jalan tengah.
  • Respons kompetitor – Penyedia LLM lainnya mungkin akan menyesuaikan model cache mereka sendiri agar tetap kompetitif, baik dengan menawarkan harga yang lebih rata atau dengan menyediakan kontrol cache yang lebih granular.

Kesimpulan

Dengan harga cache baru dari Anthropic, biaya dari prompt miss bukan lagi sekadar ketidaknyamanan kecil; ini adalah tuas finansial yang dapat mengubah anggaran proyek secara drastis. Menjaga agar system prompt, definisi alat, dan metadata terkait tetap tidak berubah kini sama pentingnya dengan menulis kode yang efisien. Tim yang memperlakukan determinisme prompt sebagai metrik yang dapat diukur akan menghindari tagihan yang mengejutkan dan tetap memegang kendali atas pengeluaran agen AI mereka.