𝗢𝗯𝗿𝗼𝗻𝗮 𝗽𝗿𝘇𝗲𝗱 𝗣𝗿𝗼𝗺𝗽𝘁 𝗜𝗻𝗷𝗲𝗰𝘁𝗶𝗼𝗻: 𝗣𝗹𝗮𝘆𝗯𝗼𝗼𝗸 𝗚𝘂𝗮𝗿𝗱𝗿𝗮𝗶𝗹𝘀 𝗱𝗹𝗮 𝘀𝗿𝗼𝗱𝗼𝘄𝗶𝘀𝗸 𝗽𝗿𝗼𝗱𝘂𝗸𝗰𝘆𝗷𝗻𝘆𝗰𝗵
Prompt injection stanowi poważne zagrożenie dla AI.
Atakujący ukrywają instrukcje wewnątrz danych. Chcą, aby Twój model realizował ich zamiary zamiast Twoich. Ryzyko to znajduje się na szczycie listy OWASP dla aplikacji wykorzystujących duże modele językowe (LLM).
Problem jest prosty. Modele LLM traktują cały tekst w ten sam sposób. Model nie potrafi odróżnić instrukcji systemowych od przetwarzanych danych. Dla modelu to wszystko jest po prostu tekstem. To sprawia, że podatność jest trudna do wyeliminowania.
Istnieją dwa typy ataków:
- Bezpośrednie wstrzykiwanie (Direct injection): Użytkownik wpisuje złośliwe instrukcje bezpośrednio do Twojej aplikacji.
- Pośrednie wstrzykiwanie (Indirect injection): Atakujący ukrywa instrukcje w danych, które czyta Twój model.
Potrzebujesz mechanizmów guardrails, aby chronić swoje środowisko produkcyjne.
Przeczytaj pełny artykuł na AI Tech Connect.
Źródło: https://dev.to/rishi_kora/prompt-injection-defence-a-production-guardrails-playbook-2pam
Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi