𝗣𝗿𝗼𝗺𝗽𝘁 𝗜𝗻𝗷𝗲𝗰𝘁𝗶𝗼𝗻 𝗗𝗲𝗳𝗲𝗻𝗰𝗲: 𝗔 𝗣𝗿𝗼𝗱𝘂𝗰𝘁𝗶𝗼𝗻 𝗚𝘂𝗮𝗿𝗱𝗿𝗮𝗶𝗹𝘀 𝗣𝗹𝗮𝘆𝗯𝗼𝗼𝗸
પ્રોમ્પ્ટ ઇન્જેક્શન એ AI માટે એક મોટો ખતરો છે.
હુમલાખોરો ડેટાની અંદર સૂચનાઓ છુપાવે છે. તેઓ ઈચ્છે છે કે તમારું મોડેલ તમારા બદલે તેમના ઈરાદાને અનુસરે. આ જોખમ Large Language Model Applications માટેની OWASP યાદીમાં ટોચ પર છે.
સમસ્યા સરળ છે. LLMs તમામ ટેક્સ્ટને એક સમાન રીતે જુએ છે. મોડેલ તમારી સિસ્ટમ સૂચનાઓ અને તે પ્રોસેસ કરેલા ડેટા વચ્ચેનો તફાવત પારખી શકતું નથી. મોડેલ માટે, તે બધું માત્ર ટેક્સ્ટ છે. આ બાબત આ નબળાઈને સુધારવી મુશ્કેલ બનાવે છે.
બે પ્રકારના હુમલાઓ છે:
- ડાયરેક્ટ ઇન્જેક્શન: વપરાશકર્તા સીધી તમારી એપમાં ખરાબ સૂચનાઓ ટાઈપ કરે છે.
- ઇનડાયરેક્ટ ઇન્જેક્શન: હુમલાખોર એવા ડેટામાં સૂચનાઓ છુપાવે છે જે તમારું મોડેલ વાંચે છે.
તમારા પ્રોડક્શન એન્વાયરમેન્ટને સુરક્ષિત રાખવા માટે તમારે ગાર્ડરેલ્સની જરૂર છે.
AI Tech Connect પર સંપૂર્ણ લેખ વાંચો.
સ્ત્રોત: https://dev.to/rishi_kora/prompt-injection-defence-a-production-guardrails-playbook-2pam
વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi