การตั้งค่า Guardrails สำหรับ AI Gateway ด้วย AWS Bedrock และ Kong

คุณได้ติดตั้ง AI Gateway แล้ว ทราฟฟิกไหลลื่น LLM ตอบสนอง ทุกอย่างดูเหมือนจะไปได้ดี

แต่แล้วผู้ใช้ก็ส่ง prompt เพื่อสั่งให้ละทิ้งคำสั่งก่อนหน้าทั้งหมด หรือผู้ใช้ใส่หมายเลขบัตรเครดิตลงใน chatbot ของคุณ หรือผู้ใช้ขอคำแนะนำทางการเงินจาก bot ของคุณในอุตสาหกรรมที่มีกฎระเบียบควบคุม

การส่งทราฟฟิกไปยัง LLM นั้นง่าย แต่การควบคุมทราฟฟิกเหล่านั้นเป็นเรื่องยาก คุณจึงจำเป็นต้องมีนโยบายด้านความปลอดภัย (safety policies)

คุณสามารถใช้ AWS Bedrock Guardrails ร่วมกับ Kong AI Gateway บน Kubernetes ได้ โดยการตั้งค่านี้จะใช้ ai-aws-guardrails plugin ทุกๆ request และ response จะต้องผ่านชั้นของนโยบาย (policy layer) ซึ่ง gateway จะทำการบล็อกการละเมิดกฎก่อนที่ข้อมูลจะไปถึงโค้ดแอปพลิเคชันของคุณ

คุณสามารถกำหนดค่า guardrail ได้ 4 ประเภท:

สำหรับ PII คุณมีสองทางเลือก คือใช้ BLOCK เพื่อหยุด request นั้น หรือใช้ ANONYMIZE เพื่อแทนที่ข้อมูลที่ละเอียดอ่อนด้วย placeholder ซึ่งวิธีนี้จะมีประโยชน์มากในด้านการดูแลสุขภาพ (healthcare) เมื่อคุณต้องการบริบทของข้อมูลโดยไม่ต้องการข้อมูลดิบ (raw data)

ในการตั้งค่า Kong ให้กำหนด guarding_mode เป็น BOTH โดยค่าเริ่มต้นจะตรวจสอบเฉพาะ input เท่านั้น แต่การตั้งค่าเป็น BOTH จะตรวจสอบทั้ง prompt ของผู้ใช้และ response ของโมเดล ซึ่งจะช่วยป้องกันไม่ให้โมเดลที่ถูกแทรกแซง (hijacked model) ส่งข้อมูลที่เป็นอันตรายกลับไปยังผู้ใช้ของคุณ

ความปลอดภัยเป็นเพียงส่วนหนึ่งของ gateway ที่ดีเท่านั้น คุณควรใช้สิ่งเหล่านี้ด้วย:

อ่านคู่มือฉบับเต็มบน Hashnode เพื่อดูคำจำกัดความ JSON และขั้นตอนการตั้งค่าทั้งหมด

Source: https://dev.to/thegatewayguy/your-ai-gateway-needs-guardrails-heres-how-to-add-them-with-aws-bedrock-and-kong-5e0h

Optional learning community: https://t.me/GyaanSetuAi