𝗔𝗜 𝗚𝗮𝘁𝗲𝘄𝗮𝘆 𝗚𝘂𝗮𝗿𝗱𝗿𝗮𝗶𝗹𝘀 𝗱𝗲𝗻𝗴𝗮𝗻 𝗔𝗪𝗦 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 𝗱𝗮𝗻 𝗞𝗼𝗻𝗴

Anda telah melancarkan AI Gateway. Trafik mengalir. LLM memberi respons. Semuanya kelihatan baik.

Kemudian, seorang pengguna menghantar prompt untuk mengabaikan semua arahan sebelumnya. Atau seorang pengguna menampal nombor kad kredit ke dalam chatbot anda. Atau seorang pengguna meminta nasihat kewangan daripada bot anda dalam industri yang dikawal selia.

Menghantar trafik ke LLM adalah mudah. Mengawal trafik tersebut adalah sukar. Anda memerlukan polisi keselamatan.

Anda boleh menggunakan AWS Bedrock Guardrails dengan Kong AI Gateway pada Kubernetes. Tetapan ini menggunakan plugin ai-aws-guardrails. Setiap permintaan dan respons melalui lapisan polisi. Gateway tersebut menyekat pelanggaran sebelum ia sampai ke kod aplikasi anda.

Anda boleh mengkonfigurasi empat jenis guardrail:

Untuk PII, anda mempunyai dua pilihan. Gunakan BLOCK untuk menghentikan permintaan. Gunakan ANONYMIZE untuk menggantikan data sensitif dengan placeholder. Ini membantu dalam sektor penjagaan kesihatan apabila anda memerlukan konteks tanpa data mentah.

Dalam konfigurasi Kong anda, tetapkan guarding_mode kepada BOTH. Tetapan lalai hanya menyemak input. Menetapkannya kepada BOTH akan menyemak kedua-dua prompt pengguna dan respons model. Ini menghalang model yang telah diceroboh daripada menghantar data berbahaya kembali kepada pengguna anda.

Keselamatan hanyalah satu bahagian daripada gateway yang baik. Anda juga harus menggunakan:

Baca panduan penuh di Hashnode untuk definisi JSON yang lengkap dan langkah-langkah tetapan.

Source: https://dev.to/thegatewayguy/your-ai-gateway-needs-guardrails-heres-how-to-add-them-with-aws-bedrock-and-kong-5e0h

Optional learning community: https://t.me/GyaanSetuAi