𝗔𝗜 𝗚𝗮𝘁𝗲𝘄𝗮𝘆 𝗚𝘂𝗮𝗿𝗱𝗿𝗮𝗶𝗹𝘀 𝘄𝗶𝘁𝗵 𝗔𝗪𝗦 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 𝗮𝗻𝗱 𝗞𝗼𝗻𝗴

ನೀವು ಒಂದು AI Gateway ಅನ್ನು ನಿಯೋಜಿಸಿದ್ದೀರಿ (deployed). ಟ್ರಾಫಿಕ್ ಹರಿಯುತ್ತಿದೆ. LLM ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತಿದೆ. ಎಲ್ಲವೂ ಸರಿಯಾಗಿ ಕಾಣುತ್ತಿದೆ.

ನಂತರ ಒಬ್ಬ ಬಳಕೆದಾರ ಹಿಂದಿನ ಎಲ್ಲಾ ಸೂಚನೆಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸಲು ಪ್ರಾಂಪ್ಟ್ (prompt) ಕಳುಹಿಸಬಹುದು. ಅಥವಾ ಬಳಕೆದಾರರು ನಿಮ್ಮ ಚಾಟ್‌ಬಾಟ್‌ಗೆ ಕ್ರೆಡಿಟ್ ಕಾರ್ಡ್ ಸಂಖ್ಯೆಯನ್ನು ಪೇಸ್ಟ್ ಮಾಡಬಹುದು. ಅಥವಾ ನಿಯಂತ್ರಿತ ಉದ್ಯಮದಲ್ಲಿ (regulated industry) ನಿಮ್ಮ ಬಾಟ್‌ಗೆ ಹಣಕಾಸಿನ ಸಲಹೆಯನ್ನು ಕೇಳಬಹುದು.

LLM ಗೆ ಟ್ರಾಫಿಕ್ ಕಳುಹಿಸುವುದು ಸುಲಭ. ಆದರೆ ಆ ಟ್ರಾಫಿಕ್ ಅನ್ನು ನಿಯಂತ್ರಿಸುವುದು ಕಷ್ಟ. ನಿಮಗೆ ಸುರಕ್ಷತಾ ನೀತಿಗಳ (safety policies) ಅಗತ್ಯವಿದೆ.

ನೀವು Kubernetes ನಲ್ಲಿರುವ Kong AI Gateway ನೊಂದಿಗೆ AWS Bedrock Guardrails ಅನ್ನು ಬಳಸಬಹುದು. ಈ ಸೆಟಪ್ ai-aws-guardrails ಪ್ಲಗಿನ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ಪ್ರತಿಯೊಂದು ವಿನಂತಿ (request) ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆಯು (response) ಪಾಲಿಸಿ ಲೇಯರ್ ಮೂಲಕ ಹಾದುಹೋಗುತ್ತದೆ. ಉಲ್ಲಂಘನೆಗಳು ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಕೋಡ್ ತಲುಪುವ ಮೊದಲೇ ಗೇಟ್‌ವೇಯು ಅವುಗಳನ್ನು ತಡೆಯುತ್ತದೆ.

ನೀವು ನಾಲ್ಕು ರೀತಿಯ ಗಾರ್ಡ್‌ರೈಲ್‌ಗಳನ್ನು (guardrail types) ಕಾನ್ಫಿಗರ್ ಮಾಡಬಹುದು:

PII ಗಾಗಿ, ನಿಮ್ಮ ಮುಂದೆ ಎರಡು ಆಯ್ಕೆಗಳಿವೆ. ವಿನಂತಿಯನ್ನು ನಿಲ್ಲಿಸಲು BLOCK ಬಳಸಿ. ಸೂಕ್ಷ್ಮ ಡೇಟಾವನ್ನು ಪ್ಲೇಸ್‌ಹೋಲ್ಡರ್‌ಗಳೊಂದಿಗೆ (placeholders) ಬದಲಾಯಿಸಲು ANONYMIZE ಬಳಸಿ. ಇದು ಕಚ್ಚಾ ಡೇಟಾ ಇಲ್ಲದೆ ಸಂದರ್ಭದ (context) ಅಗತ್ಯವಿರುವ ಆರೋಗ್ಯ ರಕ್ಷಣಾ ಕ್ಷೇತ್ರದಲ್ಲಿ ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ನಿಮ್ಮ Kong ಕಾನ್ಫಿಗರೇಶನ್‌ನಲ್ಲಿ, guarding_mode ಅನ್ನು BOTH ಎಂದು ಸೆಟ್ ಮಾಡಿ. ಡಿಫಾಲ್ಟ್ ಸೆಟ್ಟಿಂಗ್ ಕೇವಲ ಇನ್‌ಪುಟ್‌ಗಳನ್ನು ಮಾತ್ರ ಪರಿಶೀಲಿಸುತ್ತದೆ. ಅದನ್ನು BOTH ಎಂದು ಸೆಟ್ ಮಾಡುವುದರಿಂದ ಬಳಕೆದಾರರ ಪ್ರಾಂಪ್ಟ್ ಮತ್ತು ಮಾಡೆಲ್ ಪ್ರತಿಕ್ರಿಯೆ ಎರಡನ್ನೂ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ. ಇದು ಹೈಜಾಕ್ ಮಾಡಲಾದ ಮಾಡೆಲ್ ಬಳಕೆದಾರರಿಗೆ ಹಾನಿಕಾರಕ ಡೇಟಾವನ್ನು ಕಳುಹಿಸುವುದನ್ನು ತಡೆಯುತ್ತದೆ.

ಸುರಕ್ಷತೆಯು ಉತ್ತಮ ಗೇಟ್‌ವೇಯ ಒಂದು ಭಾಗ ಮಾತ್ರ. ನೀವು ಇವುಗಳನ್ನು ಸಹ ಬಳಸಬೇಕು:

ಸಂಪೂರ್ಣ JSON ವ್ಯಾಖ್ಯಾನಗಳು (definitions) ಮತ್ತು ಸೆಟಪ್ ಹಂತಗಳಿಗಾಗಿ Hashnode ನಲ್ಲಿನ ಪೂರ್ಣ ಮಾರ್ಗದರ್ಶಿಯನ್ನು ಓದಿ.

ಮೂಲ (Source): https://dev.to/thegatewayguy/your-ai-gateway-needs-guardrails-heres-how-to-add-them-with-aws-bedrock-and-kong-5e0h

ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ (Optional learning community): https://t.me/GyaanSetuAi