𝟳 𝗚𝘂𝗮𝗿𝗱𝗿𝗮𝗶𝗹𝘀 𝗧𝗵𝗮𝘁 𝗦𝘁𝗼𝗽 𝗬𝗼𝘂𝗿 𝗟𝗟𝗠 𝗙𝗿𝗼𝗺 𝗚𝗼𝗶𝗻𝗴 𝗥𝗼𝗴𝘂𝗲

కీలకమైన మౌలిక సదుపాయాల కోసం AI రిస్క్ మేనేజ్‌మెంట్ గురించి NIST కొత్త నోట్‌ను విడుదల చేసింది.

AI వ్యవస్థలు పరీక్షించబడిన మరియు ధృవీకరించబడిన రక్షణలను కలిగి ఉండాలని వారు కోరుకుంటున్నారు. Prompt injection వంటి దాడులను అడ్డుకోవడానికి డెవలపర్లు ఈ రక్షణలను నిర్మించాలి.

భద్రతకు కేవలం మంచి ఉద్దేశాలు మాత్రమే సరిపోవు. దానికి ప్రోగ్రామాటిక్ గార్డ్‌రైల్స్ అవసరం.

మీ AIని సురక్షితంగా ఉంచడానికి ఇక్కడ 7 వ్యూహాలు ఉన్నాయి:

  • Input validation యూజర్ టెక్స్ట్ మోడల్‌కు చేరుకోకముందే దానిని తనిఖీ చేయండి. హానికరమైన కోడ్ లేదా ఊహించని HTML ట్యాగ్‌లను తొలగించండి. దాడి చేసేవారి కంటే ముందుండటానికి ఈ నియమాలను తరచుగా అప్‌డేట్ చేయండి.

  • Output filtering యూజర్లు చూసేముందు AI ప్రతిస్పందనలను తనిఖీ చేయండి. హానికరమైన కంటెంట్‌ను ఆపడానికి కీవర్డ్ లిస్ట్‌లు లేదా ప్యాటర్న్ మ్యాచింగ్‌ను ఉపయోగించండి. అవుట్‌పుట్ నిర్ణీత నిర్మాణాన్ని (structure) అనుసరించేలా చూడటానికి Pydantic వంటి టూల్స్ సహాయపడతాయి.

  • Structured prompting సిస్టమ్ ప్రాంప్ట్‌లు మరియు స్పష్టమైన డెలిమిటర్లను (delimiters) ఉపయోగించండి. యూజర్ క్వెరీలను ###User Input### వంటి నిర్దిష్ట టోకెన్లలో ఉంచండి. ఇది మీ సూచనలకు మరియు యూజర్ డేటాకు మధ్య తేడాను గుర్తించడంలో మోడల్‌కు సహాయపడుతుంది.

  • Adversarial training దాడికి సంబంధించిన ఉదాహరణలను ఉపయోగించి మీ మోడల్‌ను ట్రైన్ చేయండి. ఇది హానికరమైన ప్రాంప్ట్‌లను గుర్తించి తిరస్కరించడానికి మోడల్‌కు నేర్పిస్తుంది. భద్రతను మెరుగుపరచడానికి మీరు హై-క్వాలిటీ, నిర్దిష్ట డేటాపై మోడల్‌లను fine-tune చేయవచ్చు.

  • Real-time monitoring మీ సిస్టమ్ లాగ్‌లు మరియు వినియోగ నమూనాలను (usage patterns) నిరంతరం గమనించండి. వింత ప్రవర్తనను గుర్తించడానికి anomaly detection ఉపయోగించండి. ఇది ముప్పులు పెరగకముందే వాటిని ఎదుర్కోవడానికి మీకు సహాయపడుతుంది.

  • Red teaming వాస్తవ ప్రపంచ దాడులను అనుకరించడానికి టీమ్‌లను నియమించుకోండి. హ్యాకర్ల కంటే ముందే వారు లోపాలను మరియు prompt injection వెక్టార్లను కనుగొంటారు. ఇది AI-నిర్దిష్ట ముప్పులపై దృష్టి సారించడం ద్వారా సాధారణ టెస్టింగ్‌కు మించి పనిచేస్తుంది.

  • Human-in-the-loop ఒక వ్యక్తి చర్యలను సమీక్షించాల్సిన లేదా ఆమోదించాల్సిన చెక్‌పాయింట్‌లను రూపొందించండి. ఇది అత్యంత కీలకమైన పనులకు చాలా ముఖ్యం. తప్పుల వల్ల నష్టం ఎక్కువగా ఉండే సందర్భాల్లో ఇది జవాబుదారీతనాన్ని నిర్ధారిస్తుంది.

గార్డ్‌రైల్స్ ఇప్పుడు ఐచ్ఛికం కాదు. అవి ఒక ముఖ్యమైన ఇంజనీరింగ్ అవసరం.

Source: https://dev.to/autonainews/7-guardrails-that-stop-your-llm-from-going-rogue-3p3p

Optional learning community: https://t.me/GyaanSetuAi