پرامپٹ انجیکشن سے بچاؤ: پروڈکشن گارڈ ریلز پلے بک
پرامپٹ انجیکشن (Prompt injection) AI کے لیے ایک بڑا خطرہ ہے۔
حملہ آور ڈیٹا کے اندر ہدایات چھپاتے ہیں۔ وہ چاہتے ہیں کہ آپ کا ماڈل آپ کے بجائے ان کے ارادوں پر عمل کرے۔ یہ خطرہ Large Language Model Applications کے لیے OWASP کی فہرست میں سب سے اوپر ہے۔
مسئلہ سادہ ہے۔ LLMs تمام متن کو ایک ہی طرح سے دیکھتے ہیں۔ ماڈل آپ کی سسٹم ہدایات اور اس ڈیٹا کے درمیان فرق نہیں کر سکتا جسے وہ پروسیس کرتا ہے۔ ماڈل کے لیے، یہ سب محض متن ہے۔ یہی وجہ ہے کہ اس کمزوری کو دور کرنا مشکل ہے۔
حملوں کی دو اقسام ہیں:
- ڈائریکٹ انجیکشن (Direct injection): ایک صارف براہ راست آپ کی ایپ میں غلط ہدایات ٹائپ کرتا ہے۔
- ان ڈائریکٹ انجیکشن (Indirect injection): ایک حملہ آور اس ڈیٹا میں ہدایات چھپاتا ہے جسے آپ کا ماڈل پڑھتا ہے۔
اپنے پروڈکشن ماحول کی حفاظت کے لیے آپ کو گارڈ ریلز (guardrails) کی ضرورت ہے۔
AI Tech Connect پر مکمل مضمون پڑھیں۔
ماخذ: https://dev.to/rishi_kora/prompt-injection-defence-a-production-guardrails-playbook-2pam
اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi