প্রম্পট ইনজেকশন ডিফেন্স: একটি প্রোডাকশন গার্ডরেইলস প্লেবুক
প্রম্পট ইনজেকশন হলো AI-এর জন্য একটি বড় হুমকি।
আক্রমণকারীরা ডেটার ভেতরে নির্দেশাবলী লুকিয়ে রাখে। তারা চায় আপনার মডেলটি আপনার পরিবর্তে তাদের উদ্দেশ্য অনুসরণ করুক। Large Language Model Applications-এর জন্য OWASP তালিকার শীর্ষে এই ঝুঁকিটি রয়েছে।
সমস্যাটি সহজ। LLM সব টেক্সটকেই একইভাবে দেখে। মডেলটি আপনার সিস্টেম ইনস্ট্রাকশন এবং এটি প্রসেস করা ডেটার মধ্যে পার্থক্য করতে পারে না। মডেলের কাছে এটি সবই কেবল টেক্সট। এটি এই দুর্বলতাটিকে সমাধান করা কঠিন করে তোলে।
আক্রমণ দুই ধরনের হয়:
- ডাইরেক্ট ইনজেকশন: একজন ব্যবহারকারী সরাসরি আপনার অ্যাপে ক্ষতিকারক নির্দেশাবলী টাইপ করেন।
- ইনডাইরেক্ট ইনজেকশন: একজন আক্রমণকারী এমন ডেটার মধ্যে নির্দেশাবলী লুকিয়ে রাখে যা আপনার মডেল পড়ে।
আপনার প্রোডাকশন এনভায়রনমেন্ট সুরক্ষিত রাখতে আপনার গার্ডরেইলস প্রয়োজন।
AI Tech Connect-এ সম্পূর্ণ নিবন্ধটি পড়ুন।
উৎস: https://dev.to/rishi_kora/prompt-injection-defence-a-production-guardrails-playbook-2pam
ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi