AWS Bedrock-ഉം Kong-ഉം ഉപയോഗിച്ചുള്ള AI Gateway Guardrails

നിങ്ങൾ ഒരു AI Gateway വിന്യസിച്ചു. ട്രാഫിക് ഒഴുകുന്നു. LLM മറുപടി നൽകുന്നു. എല്ലാം ശരിയായി പോകുന്നു.

എന്നാൽ ഒരു ഉപയോക്താവ് മുൻപത്തെ എല്ലാ നിർദ്ദേശങ്ങളും അവഗണിക്കണമെന്ന് ആവശ്യപ്പെട്ടുകൊണ്ട് ഒരു പ്രോംപ്റ്റ് അയക്കുന്നു. അല്ലെങ്കിൽ ഒരു ഉപയോക്താവ് നിങ്ങളുടെ ചാറ്റ്ബോട്ടിനുള്ളിൽ ഒരു ക്രെഡിറ്റ് കാർഡ് നമ്പർ പേസ്റ്റ് ചെയ്യുന്നു. അല്ലെങ്കിൽ നിയന്ത്രിത മേഖലയിലുള്ള (regulated industry) ഒരു ഉപയോക്താവ് നിങ്ങളുടെ ബോട്ടിനോട് സാമ്പത്തിക ഉപദേശം ചോദിക്കുന്നു.

ഒരു LLM-ലേക്ക് ട്രാഫിക് അയക്കുന്നത് എളുപ്പമാണ്. എന്നാൽ ആ ട്രാഫിക്കിനെ നിയന്ത്രിക്കുന്നത് പ്രയാസകരമാണ്. നിങ്ങൾക്ക് സുരക്ഷാ നയങ്ങൾ (safety policies) ആവശ്യമാണ്.

Kubernetes-ലുള്ള ഒരു Kong AI Gateway-യോടൊപ്പം നിങ്ങൾക്ക് AWS Bedrock Guardrails ഉപയോഗിക്കാം. ഈ സെറ്റപ്പ് ai-aws-guardrails പ്ലഗിൻ ഉപയോഗിക്കുന്നു. ഓരോ റിക്വസ്റ്റും റെസ്പോൺസും ഒരു പോളിസി ലെയറിലൂടെ കടന്നുപോകുന്നു. ലംഘനങ്ങൾ നിങ്ങളുടെ ആപ്ലിക്കേഷൻ കോഡിൽ എത്തുന്നതിന് മുമ്പ് തന്നെ ഗേറ്റ്‌വേ അവ തടയുന്നു.

നിങ്ങൾക്ക് നാല് തരം ഗാർഡ്‌റൈലുകൾ (guardrail types) കോൺഫിഗർ ചെയ്യാം:

PII-ക്കായി നിങ്ങൾക്ക് രണ്ട് ഓപ്ഷനുകളുണ്ട്. റിക്വസ്റ്റ് തടയാൻ BLOCK ഉപയോഗിക്കുക. സെൻസിറ്റീവ് ഡാറ്റയ്ക്ക് പകരം പ്ലേസ്‌ഹോൾഡറുകൾ (placeholders) ഉപയോഗിക്കാൻ ANONYMIZE ഉപയോഗിക്കുക. യഥാർത്ഥ ഡാറ്റ ഇല്ലാതെ തന്നെ സന്ദർഭം (context) ആവശ്യമായി വരുന്ന ആരോഗ്യമേഖലയിൽ (healthcare) ഇത് സഹായിക്കുന്നു.

നിങ്ങളുടെ Kong കോൺഫിഗറേഷനിൽ, guarding_mode എന്നത് BOTH എന്ന് സെറ്റ് ചെയ്യുക. ഡിഫോൾട്ട് സെറ്റിംഗ് ഇൻപുട്ടുകൾ മാത്രമേ പരിശോധിക്കൂ. BOTH എന്ന് സെറ്റ് ചെയ്യുന്നത് ഉപയോക്താവിന്റെ പ്രോംപ്റ്റും മോഡൽ റെസ്പോൺസും പരിശോധിക്കാൻ സഹായിക്കുന്നു. ഇത് ഒരു ഹൈജാക്ക് ചെയ്യപ്പെട്ട മോഡൽ ഉപയോക്താവിന് ദോഷകരമായ ഡാറ്റ തിരികെ അയക്കുന്നത് തടയുന്നു.

ഒരു നല്ല ഗേറ്റ്‌വേയുടെ ഒരു ഭാഗം മാത്രമാണ് സുരക്ഷ. നിങ്ങൾ ഇവയും ഉപയോഗിക്കണം:

പൂർണ്ണമായ JSON നിർവചനങ്ങളും (definitions) സെറ്റപ്പ് ഘട്ടങ്ങളും അറിയാൻ Hashnode-ലെ മുഴുവൻ ഗൈഡും വായിക്കുക.

ഉറവിടം: https://dev.to/thegatewayguy/your-ai-gateway-needs-guardrails-heres-how-to-add-them-with-aws-bedrock-and-kong-5e0h

ഓപ്ഷണൽ ലേണിംഗ് കമ്മ്യൂണിറ്റി: https://t.me/GyaanSetuAi