𝟳 𝗚𝘂𝗮𝗿𝗱𝗿𝗮𝗶𝗹𝘀 𝗧𝗵𝗮𝘁 𝗦𝘁𝗼𝗽 𝗬𝗼𝘂𝗿 𝗟𝗟𝗠 𝗙𝗿𝗼𝗺 𝗚𝗼𝗶𝗻𝗴 𝗥𝗼𝗴𝘂𝗲

NIST গুরুত্বপূর্ণ অবকাঠামোর জন্য AI ঝুঁকি ব্যবস্থাপনা সংক্রান্ত একটি নতুন নোট প্রকাশ করেছে।

তারা চায় AI সিস্টেমগুলোর পরীক্ষিত এবং যাচাইকৃত সুরক্ষা ব্যবস্থা থাকুক। প্রম্পট ইনজেকশনের (prompt injection) মতো আক্রমণ ঠেকাতে ডেভেলপারদের অবশ্যই এই সুরক্ষা ব্যবস্থাগুলো তৈরি করতে হবে।

নিরাপত্তার জন্য কেবল ভালো উদ্দেশ্য থাকলেই চলে না; এর জন্য প্রয়োজন প্রোগ্রাম্যাটিক গার্ডরেইল (programmatic guardrails)।

আপনার AI সুরক্ষিত করার জন্য এখানে ৭টি কৌশল দেওয়া হলো:

  • ইনপুট ভ্যালিডেশন (Input validation) মডেলের কাছে পৌঁছানোর আগে ব্যবহারকারীর সমস্ত টেক্সট পরীক্ষা করুন। ক্ষতিকারক কোড বা অপ্রত্যাশিত HTML ট্যাগ সরিয়ে ফেলুন। আক্রমণকারীদের চেয়ে এক ধাপ এগিয়ে থাকতে এই নিয়মগুলো প্রায়ই আপডেট করুন।

  • আউটপুট ফিল্টারিং (Output filtering) ব্যবহারকারীরা দেখার আগে AI-এর রেসপন্সগুলো পরীক্ষা করুন। ক্ষতিকারক কন্টেন্ট আটকাতে কিওয়ার্ড লিস্ট বা প্যাটার্ন ম্যাচিং ব্যবহার করুন। Pydantic-এর মতো টুলগুলো আউটপুট একটি নির্দিষ্ট কাঠামো অনুসরণ করছে কিনা তা নিশ্চিত করতে সাহায্য করে।

  • স্ট্রাকচারড প্রম্পটিং (Structured prompting) সিস্টেম প্রম্পট এবং স্পষ্ট ডেলিমিটার (delimiters) ব্যবহার করুন। ব্যবহারকারীর কুয়েরিগুলোকে ###User Input###-এর মতো নির্দিষ্ট টোকেন দিয়ে ঘিরে রাখুন। এটি মডেলকে আপনার নির্দেশ এবং ব্যবহারকারীর ডেটার মধ্যে পার্থক্য করতে সাহায্য করে।

  • অ্যাডভারসারিয়াল ট্রেনিং (Adversarial training) আক্রমণের উদাহরণ ব্যবহার করে আপনার মডেলটিকে প্রশিক্ষণ দিন। এটি মডেলটিকে ক্ষতিকারক প্রম্পট চিনতে এবং প্রত্যাখ্যান করতে শেখায়। নিরাপত্তা উন্নত করতে আপনি উচ্চ-মানের, নির্দিষ্ট ডেটার ওপর মডেলগুলোকে ফাইন-টিউন (fine-tune) করতে পারেন।

  • রিয়েল-টাইম মনিটরিং (Real-time monitoring) আপনার সিস্টেম লগ এবং ব্যবহারের ধরন ক্রমাগত পর্যবেক্ষণ করুন। অস্বাভাবিক আচরণ শনাক্ত করতে অ্যানোমালি ডিটেকশন (anomaly detection) ব্যবহার করুন। এটি হুমকি বড় হওয়ার আগেই ব্যবস্থা নিতে সাহায্য করে।

  • রেড টিমিং (Red teaming) বাস্তব জগতের আক্রমণ সিমুলেট করার জন্য টিম নিয়োগ করুন। হ্যাকারদের আগে তারা ত্রুটি এবং প্রম্পট ইনজেকশন ভেক্টর খুঁজে বের করে। এটি AI-নির্দিষ্ট হুমকির ওপর গুরুত্ব দিয়ে সাধারণ টেস্টিংয়ের বাইরে গিয়ে কাজ করে।

  • হিউম্যান-ইন-দ্য-লুপ (Human-in-the-loop) এমন কিছু চেকপয়েন্ট তৈরি করুন যেখানে একজন মানুষকে অবশ্যই কাজগুলো পর্যালোচনা বা অনুমোদন করতে হবে। উচ্চ-ঝুঁকিপূর্ণ কাজের জন্য এটি অত্যন্ত গুরুত্বপূর্ণ। যখন ভুলের কারণে বড় ধরনের ক্ষতির সম্ভাবনা থাকে, তখন এটি জবাবদিহিতা নিশ্চিত করে।

গার্ডরেইল এখন আর ঐচ্ছিক নয়। এগুলো একটি মূল ইঞ্জিনিয়ারিং প্রয়োজনীয়তা।

Source: https://dev.to/autonainews/7-guardrails-that-stop-your-llm-from-going-rogue-3p3p

Optional learning community: https://t.me/GyaanSetuAi