𝗣𝗿𝗼𝗺𝗽𝘁 𝗜𝗻𝗷𝗲𝗰𝘁𝗶𝗼𝗻 𝗗𝗲𝗳𝗲𝗻𝗰𝗲: 𝗔 𝗣𝗿𝗼𝗱𝘂𝗰𝘁𝗶𝗼𝗻 𝗚𝘂𝗮𝗿𝗱𝗿𝗮𝗶𝗹𝘀 𝗣𝗹𝗮𝘆𝗯𝗼𝗼𝗸
Prompt injection adalah ancaman besar bagi AI.
Penyerang menyembunyikan instruksi di dalam data. Mereka ingin model Anda mengikuti niat mereka, bukan niat Anda. Risiko ini berada di urutan teratas daftar OWASP untuk Aplikasi Large Language Model.
Masalahnya sederhana. LLM melihat semua teks dengan cara yang sama. Model tidak dapat membedakan antara instruksi sistem Anda dan data yang diprosesnya. Bagi model, semuanya hanyalah teks. Hal ini membuat kerentanan tersebut sulit untuk diperbaiki.
Ada dua jenis serangan:
- Injeksi langsung (Direct injection): Seorang pengguna mengetikkan instruksi berbahaya secara langsung ke dalam aplikasi Anda.
- Injeksi tidak langsung (Indirect injection): Seorang penyerang menyembunyikan instruksi dalam data yang dibaca oleh model Anda.
Anda memerlukan guardrails untuk melindungi lingkungan produksi Anda.
Baca artikel selengkapnya di AI Tech Connect.
Sumber: https://dev.to/rishi_kora/prompt-injection-defence-a-production-guardrails-playbook-2pam
Komunitas belajar opsional: https://t.me/GyaanSetuAi