𝗚𝘂𝗮𝗿𝗱𝗿𝗮𝗶𝗹 𝗽𝗲𝗿 𝗹'𝗔𝗜 𝗚𝗮𝘁𝗲𝘄𝗮𝘆 𝗰𝗼𝗻 𝗔𝗪𝗦 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 𝗲 𝗞𝗼𝗻𝗴
Hai distribuito un AI Gateway. Il traffico scorre. L'LLM risponde. Tutto sembra andare per il meglio.
Poi un utente invia un prompt per ignorare tutte le istruzioni precedenti. Oppure un utente incolla un numero di carta di credito nella tua chatbot. O un utente chiede al tuo bot consigli finanziari in un settore regolamentato.
Inviare traffico a un LLM è facile. Controllare quel traffico è difficile. Hai bisogno di policy di sicurezza.
Puoi utilizzare AWS Bedrock Guardrails con un Kong AI Gateway su Kubernetes. Questa configurazione utilizza il plugin ai-aws-guardrails. Ogni richiesta e risposta passa attraverso uno strato di policy. Il gateway blocca le violazioni prima che raggiungano il codice della tua applicazione.
Puoi configurare quattro tipi di guardrail:
- Filtri dei contenuti: Blocca odio, violenza o insulti.
- Protezione dagli attacchi ai prompt: Blocca jailbreak e tentativi di injection.
- Protezione PII: Blocca email, carte di credito e password.
- Argomenti vietati: Blocca soggetti specifici come i consigli di investimento.
Per i PII, hai due opzioni. Usa BLOCK per interrompere la richiesta. Usa ANONYMIZE per sostituire i dati sensibili con dei segnaposto. Questo è utile in ambito sanitario quando hai bisogno del contesto senza i dati grezzi.
Nella tua configurazione di Kong, imposta guarding_mode su BOTH. L'impostazione predefinita controlla solo gli input. Impostandolo su BOTH, verranno controllati sia il prompt dell'utente che la risposta del modello. Ciò impedisce a un modello compromesso di inviare dati dannosi all'utente.
La sicurezza è solo una parte di un buon gateway. Dovresti anche utilizzare:
- Rate limiting per controllare i costi.
- Semantic caching per ridurre le query ripetute.
- Autenticazione JWT per proteggere le tue rotte.
Leggi la guida completa su Hashnode per le definizioni JSON complete e i passaggi di configurazione.
Community di apprendimento opzionale: https://t.me/GyaanSetuAi