𝗟𝗟𝗠 𝗣𝗿𝗼𝗺𝗽𝘁 𝗜𝗻𝗷𝗲𝗰𝘁𝗶𝗼𝗻 𝗮𝗻𝗱 𝗚𝘂𝗮𝗿𝗱𝗿𝗮𝗶𝗹 𝗦𝗲𝗰𝘂𝗿𝗶𝘁𝘆

LLMs मध्ये सूचना (instructions) आणि डेटा यांच्यामध्ये कोणतीही स्पष्ट सीमा नसते. कॉन्टेक्स्ट विंडोमधील (context window) सर्व काही टोकन्सचा एक प्रवाह असतो. जेव्हा हल्लेखोराचा डेटा सूचना म्हणून काम करतो, तेव्हा 'प्रॉम्प्ट इंजेक्शन' (prompt injection) घडते. तुम्ही केवळ फिल्टरिंग करून सुरक्षितता मिळवू शकत नाही. तुम्हाला 'डिफेन्स-इन-डेप्थ' (defense-in-depth) पद्धतीने याचे व्यवस्थापन करावे लागेल.

सामान्य संरक्षणात्मक उपायांचे अपयश:

ASCII स्मगलिंग (ASCII Smuggling) हा एक मोठा धोका आहे. सूचना लपवण्यासाठी यामध्ये युनिकोड टॅग्स (Unicode Tags) किंवा झिरो-विड्थ स्पेसेस (zero-width spaces) सारख्या अदृश्य वर्णांचा वापर केला जातो. मॉडेल ते वाचू शकते, परंतु मानवाला काहीही दिसत नाही. यामुळे ईमेल किंवा कॅलेंडरद्वारे ओळख चोरी (identity spoofing) आणि डेटा चोरी (data exfiltration) करणे शक्य होते.

तुमच्या ॲप्लिकेशनचे संरक्षण कसे करावे:

सुरक्षा ही केवळ मॉडेलमधील त्रुटी नसून ती पाइपलाइनमधील त्रुटी आहे. याचे निराकरण तुमच्या ॲप्लिकेशन कोडमध्ये आहे.

Source: https://dev.to/geekaara/llm-prompt-injection-guardrail-security-glm

Optional learning community: https://t.me/GyaanSetuAi