Guardrails AI Gateway dengan AWS Bedrock dan Kong
Anda telah menerapkan AI Gateway. Lalu lintas mengalir. LLM merespons. Semuanya tampak baik.
Kemudian seorang pengguna mengirimkan prompt untuk mengabaikan semua instruksi sebelumnya. Atau seorang pengguna menempelkan nomor kartu kredit ke chatbot Anda. Atau seorang pengguna meminta saran keuangan kepada bot Anda di industri yang diatur secara ketat.
Mengirimkan lalu lintas ke LLM itu mudah. Mengontrol lalu lintas tersebutlah yang sulit. Anda memerlukan kebijakan keamanan.
Anda dapat menggunakan AWS Bedrock Guardrails dengan Kong AI Gateway di Kubernetes. Pengaturan ini menggunakan plugin ai-aws-guardrails. Setiap permintaan dan respons melewati lapisan kebijakan. Gateway akan memblokir pelanggaran sebelum mencapai kode aplikasi Anda.
Anda dapat mengonfigurasi empat jenis guardrail:
- Filter Konten: Blokir kebencian, kekerasan, atau penghinaan.
- Perlindungan Serangan Prompt: Blokir jailbreak dan upaya injeksi.
- Perlindungan PII: Blokir email, kartu kredit, dan kata sandi.
- Topik yang Dilarang: Blokir subjek tertentu seperti saran investasi.
Untuk PII, Anda memiliki dua pilihan. Gunakan BLOCK untuk menghentikan permintaan. Gunakan ANONYMIZE untuk mengganti data sensitif dengan placeholder. Ini membantu dalam layanan kesehatan saat Anda membutuhkan konteks tanpa data mentah.
Dalam konfigurasi Kong Anda, atur guarding_mode ke BOTH. Pengaturan default hanya memeriksa input. Mengaturnya ke BOTH akan memeriksa prompt pengguna sekaligus respons model. Ini mencegah model yang telah dibajak mengirimkan data berbahaya kembali ke pengguna Anda.
Keamanan hanyalah satu bagian dari gateway yang baik. Anda juga harus menggunakan:
- Rate limiting untuk mengontrol biaya.
- Semantic caching untuk mengurangi kueri yang berulang.
- Autentikasi JWT untuk mengamankan rute Anda.
Baca panduan lengkapnya di Hashnode untuk definisi JSON dan langkah-langkah pengaturan yang lengkap.
Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi