AWS Bedrock keys kini dilindungi oleh gerbang (gateway) LLM dalaman yang membolehkan setiap pasukan dalam firma fintech memanggil model tersebut, namun setiap permintaan dikaitkan dengan bajet token bagi setiap pasukan. Perubahan ini menghentikan amalan menyebarkan kredensial IAM merentasi repositori dan buku nota (notebook), satu tabiat yang telah mengancam untuk menghabiskan perbelanjaan AI syarikat dalam satu petang sahaja.

Mengapa pemberian kunci AWS dengan cepat menjadi kucar-kacir

Kumpulan bukan teknikal dalam organisasi meminta akses terus ke model bahasa syarikat. Di atas kertas, jawapan yang paling mudah adalah dengan mengaktifkan model tersebut dalam AWS dan memberikan kebenaran IAM kepada setiap kumpulan. Sepuluh minit kerja, beberapa suntingan polisi, dan tugasan selesai—sekurang-kurangnya secara teori.

Dalam praktiknya, pemberian kredensial IAM mewujudkan tiga kos tersembunyi:

  • Penyebaran kredensial (Credential sprawl) – Kunci akhirnya berada dalam fail .env, saluran paip (pipeline) CI, buku nota Jupyter, dan skrip ad-hoc. Setiap salinan menjadi titik kegagalan apabila putaran (rotation) diperlukan.
  • Tiada keterlihatan (Zero visibility) – Satu kunci kongsi tidak memberikan petunjuk pasukan mana atau bahagian kod mana yang menjana penggunaan tersebut. Apabila gelung (loop) yang tidak terkawal bermula, keseluruhan bajet boleh habis digunakan sebelum sesiapa menyedarinya.
  • Beban operasi (Operational overhead) – Menjejaki siapa yang mempunyai kebenaran apa, membatalkan akses, dan mengaudit penggunaan dengan cepat bertukar menjadi proses manual yang terdedah kepada ralat.

Pasukan fintech menyedari bahawa "penyelesaian pantas" tersebut akan segera menjadi mimpi ngeri keselamatan dan kos.

Membina gerbang proksi terbalik (reverse-proxy gateway) sebagai ganti

Penyelesaiannya adalah dengan memasukkan proksi terbalik yang ringan antara setiap aplikasi dalaman dan AWS Bedrock. Proksi tersebut menyimpan kredensial AWS yang sebenar di satu lokasi yang selamat dalam peti besi (vault) dan mengeluarkan token jangka pendek yang mudah dibaca manusia (contohnya, lllkey_9f3c) kepada pemanggil.

Titik reka bentuk utama:

  • Tiada kredensial AWS meninggalkan gerbang – Pembangun dan perkhidmatan tidak akan melihat kunci IAM yang sebenar.
  • Penguatkuasaan polisi setiap token – Setiap token boleh dihadkan kepada keluarga model tertentu atau jumlah token maksimum.
  • Jejak audit penuh – Setiap permintaan direkodkan bersama nama.

Bagaimana gerbang memproses permintaan

  1. Terima token – Klien menyertakan token llmkey_… dalam pengepala (header) HTTP.
  2. Sahkan token – Gerbang menyemak status token (aktif, tidak tamat tempoh) dan sama ada permintaan tersebut kekal dalam bajet yang diperuntukkan.
  3. Senarai putih model – Ia mengesahkan model yang diminta dibenarkan untuk token tersebut.
  4. Hantar ke Bedrock – Permintaan dihantar ke AWS menggunakan kredensial IAM yang disimpan.
  5. Log dan bil – Penggunaan token, nama model, dan anggaran kos ditulis ke dalam pangkalan data pusat untuk pelaporan.

Oleh kerana firma fintech mesti menyimpan semua data di dalam rangkaiannya sendiri, tawaran SaaS pihak ketiga tidak dapat dipertimbangkan.

Apa yang diperolehi oleh syarikat

  • Kawalan model – Pasukan yang hanya memerlukan model kos rendah boleh dihadkan kepadanya, bagi mengelakkan penggunaan varian berkapasiti tinggi yang mahal secara tidak sengaja.
  • Perlindungan bajet – Token mempunyai had token yang tetap. Apabila had dicapai, gerbang akan mengembalikan ralat dan bukannya menggunakan lebih banyak kredit secara senyap.
  • Atribusi untuk kewangan – Papan pemuka (dashboard) yang dibina berdasarkan log penggunaan menunjukkan dengan tepat pasukan atau perkhidmatan mana yang membelanjakan jumlah tertentu untuk AI, mengubah hamparan (spreadsheet) yang samar menjadi laporan yang telus.

Aliran kerja operasi juga berubah. Tiada polisi IAM baharu, tiada putaran rahsia (secret rotation), dan tiada risiko kunci bocor ke dalam kawalan versi (version control).

Hujah balas: mengapa tidak menggunakan perkhidmatan terurus (managed service)

Bantahan biasa adalah membina gerbang tersuai menambah usaha kejuruteraan dan penyelenggaraan. Dalam kes fintech ini, keperluan untuk mengekalkan semua trafik AI dan data penggunaan di sebalik tembok api (firewall) korporat mengatasi kemudahan penyelesaian pihak ketiga. Proksi dalaman tersebut memerlukan hujung minggu pembangunan, tetapi ia menghapuskan berbulan-bulan pembersihan kredensial dan lebihan bajet yang akan berlaku jika menggunakan pendekatan pengagihan kunci yang naif.

Rumusan

Memberikan kunci AWS Bedrock adalah jalan pintas yang cepat bertukar menjadi mimpi ngeri keselamatan dan belanjawan. Sebuah gerbang proksi terbalik yang sederhana—dibina dalam masa satu hujung minggu—memusatkan kredensial, menguatkuasakan had setiap pasukan, dan menyediakan jejak audit yang diperlukan oleh bahagian kewangan. Bagi mana-mana organisasi yang ingin membenarkan pelbagai kumpulan bereksperimen dengan LLM tanpa menyerahkan kawalan, pendekatan gerbang ini akan memberikan pulangan melalui insiden yang dapat dielakkan dan keterlihatan perbelanjaan yang lebih jelas.