𝗔𝗜 𝗚𝗮𝘁𝗲𝘄𝗮𝘆 𝗚𝘂𝗮𝗿𝗱𝗿𝗮𝗶𝗹𝘀 𝘄𝗶𝘁𝗵 𝗔𝗪𝗦 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 𝗮𝗻𝗱 𝗞𝗼𝗻𝗴

AWS Bedrock ਅਤੇ Kong ਨਾਲ AI Gateway Guardrails

ਤੁਸੀਂ ਇੱਕ AI Gateway ਡਿਪਲੋਇ (deploy) ਕੀਤਾ ਹੈ। ਟ੍ਰੈਫਿਕ ਵਗ ਰਿਹਾ ਹੈ। LLM ਜਵਾਬ ਦੇ ਰਿਹਾ ਹੈ। ਸਭ ਕੁਝ ਠੀਕ ਲੱਗ ਰਿਹਾ ਹੈ।

ਫਿਰ ਇੱਕ ਯੂਜ਼ਰ ਸਾਰੇ ਪਿਛਲੇ ਨਿਰਦੇਸ਼ਾਂ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨ ਲਈ ਇੱਕ ਪ੍ਰੋਂਪਟ (prompt) ਭੇਜਦਾ ਹੈ। ਜਾਂ ਕੋਈ ਯੂਜ਼ਰ ਤੁਹਾਡੇ ਚੈਟਬੋਟ ਵਿੱਚ ਕ੍ਰੈਡਿਟ ਕਾਰਡ ਨੰਬਰ ਪੇਸਟ ਕਰ ਦਿੰਦਾ ਹੈ। ਜਾਂ ਕੋਈ ਯੂਜ਼ਰ ਕਿਸੇ ਨਿਯਮਤ ਉਦਯੋਗ (regulated industry) ਵਿੱਚ ਤੁਹਾਡੇ ਬੋਟ ਤੋਂ ਵਿੱਤੀ ਸਲਾਹ ਮੰਗਦਾ ਹੈ।

LLM ਨੂੰ ਟ੍ਰੈਫਿਕ ਭੇਜਣਾ ਆਸਾਨ ਹੈ। ਉਸ ਟ੍ਰੈਫਿਕ ਨੂੰ ਕੰਟਰੋਲ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੈ। ਤੁਹਾਨੂੰ ਸੁਰੱਖਿਆ ਨੀਤੀਆਂ (safety policies) ਦੀ ਲੋੜ ਹੈ।

ਤੁਸੀਂ Kubernetes 'ਤੇ Kong AI Gateway ਦੇ ਨਾਲ AWS Bedrock Guardrails ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ। ਇਹ ਸੈੱਟਅੱਪ ai-aws-guardrails ਪਲੱਗਇਨ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਹਰ ਰਿਕਵੈਸਟ (request) ਅਤੇ ਰਿਸਪਾਂਸ (response) ਇੱਕ ਪਾਲਿਸੀ ਲੇਅਰ ਤੋਂ ਗੁਜ਼ਰਦਾ ਹੈ। ਗੇਟਵੇ ਉਲੰਘਣਾਵਾਂ ਨੂੰ ਤੁਹਾਡੇ ਐਪਲੀਕੇਸ਼ਨ ਕੋਡ ਤੱਕ ਪਹੁੰਚਣ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਰੋਕ ਦਿੰਦਾ ਹੈ।

ਤੁਸੀਂ ਚਾਰ ਕਿਸਮਾਂ ਦੇ ਗਾਰਡਰੇਲ (guardrail) ਕੌਂਫਿਗਰ ਕਰ ਸਕਦੇ ਹੋ:

• Content Filters: ਨਫ਼ਰਤ, ਹਿੰਸਾ, ਜਾਂ ਅਪਮਾਨ ਨੂੰ ਰੋਕੋ।
• Prompt Attack Protection: ਜੇਲਬ੍ਰੇਕ (jailbreaks) ਅਤੇ ਇੰਜੈਕਸ਼ਨ ਦੀਆਂ ਕੋਸ਼ਿਸ਼ਾਂ ਨੂੰ ਰੋਕੋ।
• PII Protection: ਈਮੇਲ, ਕ੍ਰੈਡਿਟ ਕਾਰਡ, ਅਤੇ ਪਾਸਵਰਡ ਨੂੰ ਰੋਕੋ।
• Denied Topics: ਨਿਵੇਸ਼ ਦੀ ਸਲਾਹ ਵਰਗੇ ਖਾਸ ਵਿਸ਼ਿਆਂ ਨੂੰ ਰੋਕੋ।

PII ਲਈ, ਤੁਹਾਡੇ ਕੋਲ ਦੋ ਚੋਣਾਂ ਹਨ। ਰਿਕਵੈਸਟ ਨੂੰ ਰੋਕਣ ਲਈ BLOCK ਦੀ ਵਰਤੋਂ ਕਰੋ। ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਨੂੰ ਪਲੇਸਹੋਲਡਰਾਂ (placeholders) ਨਾਲ ਬਦਲਣ ਲਈ ANONYMIZE ਦੀ ਵਰਤੋਂ ਕਰੋ। ਇਹ ਹੈਲਥਕੇਅਰ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ ਜਦੋਂ ਤੁਹਾਨੂੰ ਕੱਚੇ ਡੇਟਾ (raw data) ਤੋਂ ਬਿਨਾਂ ਸੰਦਰਭ (context) ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਆਪਣੀ Kong ਕੌਂਫਿਗਰੇਸ਼ਨ ਵਿੱਚ, guarding_mode ਨੂੰ BOTH 'ਤੇ ਸੈੱਟ ਕਰੋ। ਡਿਫੌਲਟ ਸੈਟਿੰਗ ਸਿਰਫ਼ ਇਨਪੁੱਟ ਦੀ ਜਾਂਚ ਕਰਦੀ ਹੈ। ਇਸਨੂੰ BOTH 'ਤੇ ਸੈੱਟ ਕਰਨ ਨਾਲ ਯੂਜ਼ਰ ਪ੍ਰੋਂਪਟ ਅਤੇ ਮਾਡਲ ਰਿਸਪਾਂਸ ਦੋਵਾਂ ਦੀ ਜਾਂਚ ਹੁੰਦੀ ਹੈ। ਇਹ ਇੱਕ ਹਾਈਜੈਕ ਕੀਤੇ ਹੋਏ ਮਾਡਲ ਨੂੰ ਤੁਹਾਡੇ ਯੂਜ਼ਰ ਨੂੰ ਨੁਕਸਾਨਦੇਹ ਡੇਟਾ ਵਾਪਸ ਭੇਜਣ ਤੋਂ ਰੋਕਦਾ ਹੈ।

ਸੁਰੱਖਿਆ ਇੱਕ ਚੰਗੇ ਗੇਟਵੇ ਦਾ ਸਿਰਫ਼ ਇੱਕ ਹਿੱਸਾ ਹੈ। ਤੁਹਾਨੂੰ ਇਹਨਾਂ ਦੀ ਵਰਤੋਂ ਵੀ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ:

• ਲਾਗਤਾਂ ਨੂੰ ਕੰਟਰੋਲ ਕਰਨ ਲਈ Rate limiting।
• ਵਾਰ-ਵਾਰ ਹੋਣ ਵਾਲੀਆਂ ਕੁਐਰੀਆਂ (queries) ਨੂੰ ਘਟਾਉਣ ਲਈ Semantic caching।
• ਆਪਣੇ ਰੂਟਸ (routes) ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨ ਲਈ JWT auth।

ਪੂਰੀ JSON ਡੈਫੀਨੇਸ਼ਨਾਂ ਅਤੇ ਸੈੱਟਅੱਪ ਕਦਮਾਂ ਲਈ Hashnode 'ਤੇ ਪੂਰੀ ਗਾਈਡ ਪੜ੍ਹੋ।

Source: https://dev.to/thegatewayguy/your-ai-gateway-needs-guardrails-heres-how-to-add-them-with-aws-bedrock-and-kong-5e0h

Optional learning community: https://t.me/GyaanSetuAi