AWS Bedrock keys kini dilindungi oleh gateway LLM internal yang memungkinkan setiap tim di perusahaan fintech untuk memanggil model, namun setiap permintaan terikat pada anggaran token per tim. Perubahan ini menghentikan praktik penyebaran kredensial IAM di berbagai repositori dan notebook, sebuah kebiasaan yang telah mengancam akan menguras pengeluaran AI perusahaan hanya dalam satu sore.

Mengapa membagikan kunci AWS dengan cepat menjadi kacau

Kelompok non-teknis dalam organisasi meminta akses langsung ke model bahasa perusahaan. Di atas kertas, jawaban termudah adalah mengaktifkan model di AWS dan memberikan izin IAM kepada setiap grup. Sepuluh menit pekerjaan, beberapa pengeditan kebijakan, dan tugas selesai—setidaknya secara teori.

Dalam praktiknya, memberikan kredensial IAM menciptakan tiga biaya tersembunyi:

  • Credential sprawl – Kunci berakhir di file .env, pipeline CI, notebook Jupyter, dan skrip ad-hoc. Setiap salinan menjadi titik kegagalan saat rotasi diperlukan.
  • Zero visibility – Satu kunci bersama tidak memberikan petunjuk tim mana atau bagian kode mana yang menghasilkan penggunaan. Saat loop yang tidak terkendali dimulai, seluruh anggaran dapat habis sebelum ada yang menyadarinya.
  • Operational overhead – Melacak siapa yang memiliki izin apa, mencabut akses, dan mengaudit penggunaan dengan cepat berubah menjadi proses manual yang rentan kesalahan.

Tim fintech menyadari bahwa "solusi cepat" tersebut akan segera menjadi mimpi buruk keamanan dan biaya.

Membangun gateway reverse-proxy sebagai gantinya

Solusinya adalah menyisipkan reverse proxy tipis di antara setiap aplikasi internal dan AWS Bedrock. Proxy tersebut menyimpan kredensial AWS yang asli di satu lokasi yang aman (vault-secured) dan mengeluarkan token yang berumur pendek dan mudah dibaca manusia (misalnya, lllkey_9f3c) kepada pemanggil.

Poin desain utama:

  • No AWS credentials leave the gateway – Pengembang dan layanan tidak pernah melihat kunci IAM yang sebenarnya.
  • Per-token policy enforcement – Setiap token dapat dibatasi pada keluarga model tertentu atau jumlah token maksimum.
  • Full audit trail – Setiap permintaan dicatat dengan sebuah nama.

Bagaimana gateway memproses permintaan

  1. Receive token – Klien menyertakan token llmkey_…-nya dalam header HTTP.
  2. Validate token – Gateway memeriksa status token (aktif, tidak kedaluwarsa) dan apakah permintaan tetap berada dalam anggaran yang dialokasikan.
  3. Model whitelist – Gateway mengonfirmasi bahwa model yang diminta diizinkan untuk token tersebut.
  4. Forward to Bedrock – Permintaan dikirim ke AWS menggunakan kredensial IAM yang tersimpan.
  5. Log and bill – Penggunaan token, nama model, dan estimasi biaya ditulis ke database pusat untuk pelaporan.

Karena perusahaan fintech harus menjaga semua data tetap berada di dalam jaringannya sendiri, penawaran SaaS pihak ketiga tidak dapat dipertimbangkan.

Apa yang didapatkan perusahaan

  • Model control – Tim yang hanya membutuhkan model berbiaya rendah dapat dibatasi hanya pada model tersebut, mencegah penggunaan yang tidak disengaja dari varian yang lebih mahal dan berkapasitas lebih tinggi.
  • Budget protection – Token memiliki batas token yang ketat. Saat batas tercapai, gateway mengembalikan error alih-alih menghabiskan lebih banyak kredit secara diam-diam.
  • Attribution for finance – Dasbor yang dibangun berdasarkan log penggunaan menunjukkan secara tepat tim atau layanan mana yang menghabiskan berapa banyak untuk AI, mengubah spreadsheet yang samar menjadi laporan yang transparan.

Alur kerja operasional juga berubah. Tidak ada kebijakan IAM baru, tidak ada rotasi rahasia (secret rotation), dan tidak ada risiko kunci bocor ke dalam version control.

Argumen tandingan: mengapa tidak menggunakan managed service

Keberatan yang umum adalah bahwa membangun gateway khusus menambah upaya rekayasa dan pemeliharaan. Dalam kasus fintech ini, kebutuhan untuk menjaga semua lalu lintas AI dan data penggunaan di balik firewall perusahaan lebih penting daripada kenyamanan solusi pihak ketiga. Proxy internal tersebut membutuhkan waktu pengembangan selama akhir pekan, tetapi hal itu menghilangkan berbulan-bulan pembersihan kredensial dan pembengkakan anggaran yang akan mengikuti pendekatan distribusi kunci yang naif.

Kesimpulan

Membagikan kunci AWS Bedrock adalah jalan pintas yang dengan cepat berubah menjadi mimpi buruk keamanan dan penganggaran. Sebuah gateway reverse-proxy sederhana—yang dibangun dalam satu akhir pekan—mempusatkan kredensial, menegakkan batas per tim, dan menyediakan jejak audit yang dibutuhkan bagian keuangan. Bagi organisasi mana pun yang ingin membiarkan banyak grup bereksperimen dengan LLM tanpa menyerahkan kendali, pendekatan gateway ini akan memberikan hasil yang sepadan melalui penghindaran insiden dan visibilitas pengeluaran yang lebih jelas.