Microsoft telah menambahkan AI Gateway tier khusus ke Azure API Management (APIM). Langkah ini menandakan bahwa panggilan LLM kini diperlakukan sebagai beban kerja (workload) yang terpisah, bukan sekadar endpoint API lainnya.

Mengapa trafik LLM merusak gateway klasik

Satu prompt bisa berbiaya seratus kali lipat lebih mahal daripada prompt lainnya, namun API gateway standar melihat keduanya sebagai satu permintaan tunggal. Gateway tersebut menghitung jumlah panggilan, bukan jumlah token yang diproses oleh model. Permintaan yang mengirimkan beberapa ratus token dan permintaan yang mengirimkan ribuan token menghasilkan metrik jumlah permintaan yang identik, meskipun permintaan terakhir dapat memakan biaya berkali-kali lipat lebih besar.

Empat fakta yang membuat batasan berbasis permintaan menjadi tidak berguna untuk AI:

  • Biaya ≠ jumlah permintaan. Penagihan terikat pada token, bukan pada berapa banyak panggilan HTTP yang Anda lakukan.
  • Volume token sangat bervariasi. Satu kueri mungkin berupa pertanyaan singkat; kueri lainnya mungkin menyertakan dokumen yang panjang.
  • Pilihan model mengubah harga. LLM yang berbeda mengenakan tarif yang berbeda per token.
  • Streaming menyembunyikan tagihan akhir. Saat respons dikirim secara streaming, jumlah total token tidak diketahui sampai streaming berakhir.

Jika Anda terus hanya mengukur permintaan, Anda akan berakhir dengan data pemantauan yang tidak memberi tahu apa pun tentang pengeluaran yang sebenarnya.

Apa yang diubah oleh AI Gateway tier

Sebagian besar kebijakan yang diperlukan untuk mengontrol penggunaan token sudah ada di tier APIM standar—ditulis sebagai aturan XML dan ditampilkan pada dashboard khusus. AI tier menggabungkan kemampuan yang sama tersebut ke dalam pengalaman yang dirancang khusus:

  • Isolasi penskalaan untuk trafik AI.
  • Konfigurasi yang disederhanakan yang menghilangkan kebutuhan akan kebijakan XML yang dibuat secara manual.

Perubahan intinya bersifat operasional: Anda tidak perlu lagi menulis kode yang kompleks atau mengelola dashboard terpisah untuk menegakkan anggaran token. Tier ini menyediakan antarmuka siap pakai untuk kontrol tersebut.

Kapan harus beralih – panduan berbasis trafik

  • AI hanyalah sebagian kecil dari trafik Anda. Tetap gunakan tier APIM Anda yang sudah ada dan tambahkan kebijakan token jika Anda memerlukan kontrol yang mendetail.
  • AI mendominasi panggilan Anda. Beralihlah ke AI tier untuk mengisolasi penskalaan dan menjaga tata kelola biaya tetap rapi.
  • Anda ingin menghindari beban kerja teknik (engineering overhead). Alat bawaan pada tier ini menghilangkan waktu yang dihabiskan untuk membangun dan memelihara kebijakan khusus.

Pengeluaran terbesar bukanlah harga langganan; melainkan jam kerja teknik yang dihabiskan untuk menambal celah pada gateway generik agar dapat memahami ekonomi token.

Panduan fase preview

Microsoft masih menawarkan AI tier dalam tahap preview. Perlakukan ini sebagai tempat uji coba (testbed), bukan peluncuran produksi.

  1. Pilih beban kerja AI internal bervolume tinggi. Pilih layanan yang menghasilkan trafik token paling banyak.
  2. Rutekan beban kerja tersebut melalui AI tier. Gunakan konfigurasi baru untuk menangkap penggunaan token per konsumen.
  3. Kumpulkan data pengeluaran token selama beberapa minggu. Bandingkan jumlah token dan biaya terkait dengan pemantauan Anda yang sudah ada.
  4. Gunakan baseline untuk menginformasikan penganggaran. Putuskan apakah manfaat kontrol biaya dari tier ini lebih besar daripada keterbatasan fase preview-nya.

Jangan memindahkan beban kerja produksi yang bersifat misi kritis (mission-critical) ke layanan preview sampai layanan tersebut mencapai tahap general availability.

Sudut pandang lain: tidak semua orang membutuhkan tier terpisah

Jika organisasi Anda hanya melakukan panggilan sesekali ke LLM, biaya tambahan dari AI tier mungkin tidak sebanding. Anda dapat mencapai tata kelola tingkat token dengan kerangka kerja kebijakan yang sudah ada, meskipun dengan upaya manual yang lebih besar. Tier ini sangat berguna ketika trafik AI merupakan bagian yang substansial dan terus berkembang dari permukaan API Anda.

Kesimpulan

AI Gateway tier mengakui bahwa trafik LLM berperilaku secara fundamental berbeda dari panggilan API tradisional. Dengan beralih dari penghitungan permintaan ke tata kelola berbasis token, tier ini memberikan cara praktis bagi pengembang untuk menjaga pengeluaran AI tetap terkendali tanpa harus tenggelam dalam kode khusus. Bagi tim yang penggunaan AI-nya sudah cukup besar—atau diperkirakan akan tumbuh—menguji versi preview sekarang dapat membantu membangun baseline pengeluaran token.