प्रॉम्प्ट इंजेक्शन डिफेंस: एक प्रोडक्शन गार्डरेल्स प्लेबुक
प्रॉम्प्ट इंजेक्शन AI के लिए एक बड़ा खतरा है।
हमलावर डेटा के भीतर निर्देश छिपाते हैं। वे चाहते हैं कि आपका मॉडल आपके बजाय उनके इरादे का पालन करे। यह जोखिम Large Language Model Applications के लिए OWASP सूची में सबसे ऊपर है।
समस्या सरल है। LLMs सभी टेक्स्ट को एक ही तरह से देखते हैं। मॉडल आपके सिस्टम निर्देशों और उस डेटा के बीच अंतर नहीं कर सकता जिसे वह प्रोसेस करता है। मॉडल के लिए, यह सब केवल टेक्स्ट है। यह इस भेद्यता को ठीक करना कठिन बना देता है।
हमलों के दो प्रकार हैं:
- डायरेक्ट इंजेक्शन: एक उपयोगकर्ता सीधे आपके ऐप में गलत निर्देश टाइप करता है।
- इनडायरेक्ट इंजेक्शन: एक हमलावर उस डेटा में निर्देश छिपाता है जिसे आपका मॉडल पढ़ता है।
अपने प्रोडक्शन एनवायरनमेंट की सुरक्षा के लिए आपको गार्डरेल्स की आवश्यकता है।
AI Tech Connect पर पूरा लेख पढ़ें।
स्रोत: https://dev.to/rishi_kora/prompt-injection-defence-a-production-guardrails-playbook-2pam
वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi