మీ AI ఏజెంట్ యొక్క భద్రత దాని టూల్స్పైనే ఆధారపడి ఉంటుంది
మీరు మీ AI ఏజెంట్ను మరింత సురక్షితంగా (hardening) చేయడానికి చాలా సమయం కేటాయిస్తారు. మీరు పర్మిషన్లను పరిమితం చేస్తారు. కోడ్ను సాండ్బాక్స్ (sandbox) చేస్తారు. అవుట్పుట్లను నిశితంగా గమనిస్తారు.
అప్పుడు ఆ ఏజెంట్ ఒక థర్డ్-పార్టీ టూల్ను లోడ్ చేస్తుంది. అకస్మాత్తుగా, మీ భద్రతా చర్యలన్నీ విఫలమవుతాయి.
మీ ఏజెంట్ అది పిలిచే (calls చేసే) ఇతర ఏజెంట్లు మరియు టూల్స్ ఎంత సురక్షితంగా ఉన్నాయో అంతే సురక్షితంగా ఉంటుంది. ఇది ప్రతి ఇతర ఏజెంట్తో రిజిస్ట్రీ, ఐడెంటిటీ ప్లేన్ మరియు గేట్వేని పంచుకుంటుంది. ఒకే ఒక టూల్లో జరిగే వైఫల్యం మీ మొత్తం వ్యవస్థలోకి వ్యాపిస్తుంది.
చాలా బృందాలు ఏజెంట్ను సురక్షితం చేస్తాయి కానీ ఎకోసిస్టమ్ను మర్చిపోతాయి. మీ ఇన్ఫ్రాస్ట్రక్చర్ను రక్షించడానికి ఈ ఆరు వ్యూహాలను ఉపయోగించండి:
డిజిటల్ ఫింగర్ప్రింట్లను ఉపయోగించండి. ఒక టూల్ సోమవారం సురక్షితంగా అనిపించవచ్చు కానీ గురువారం హానికరంగా మారవచ్చు. వెర్షన్లను పిన్ (pin) చేయండి మరియు టూల్ డిస్క్రిప్షన్ మరియు స్కీమా యొక్క హాష్ను ఉపయోగించండి. టూల్ లోడ్ అయిన ప్రతిసారీ ఈ ఫింగర్ప్రింట్ను మళ్ళీ తనిఖీ చేయండి. ఫింగర్ప్రింట్ మారితే, ఆ టూల్ను నిలిపివేయండి.
టూల్ పాయిజనింగ్ను నివారించండి. ఒక టూల్ యొక్క డిస్క్రిప్షన్ అనేది మోడల్కు ఒక ఇన్స్ట్రక్షన్ ఛానెల్. హానికరమైన టూల్స్ ప్రాంప్ట్ ఇంజెక్షన్లను (prompt injections) ప్రేరేపించడానికి డిస్క్రిప్షన్లను ఉపయోగిస్తాయి. టూల్ మెటాడేటాను హానికరమైన ఇన్పుట్గా పరిగణించండి. దాగి ఉన్న క్యారెక్టర్లు, HTML కామెంట్లు లేదా "ignore previous orders" వంటి సూచనల కోసం స్కాన్ చేయండి.
పేరు విషయంలో గందరగోళాన్ని నివారించండి. హానికరమైన సర్వర్లు నమ్మకమైన వాటికి దగ్గరగా ఉండే పేర్లను ఉపయోగిస్తాయి, ఉదాహరణకు send_email కి బదులుగా send_emai1. దాదాపు ఒకేలా ఉండే పేర్లను గుర్తించండి (flag). గందరగోళాన్ని నివారించడానికి ప్రతి టూల్ను దాని ధృవీకరించబడిన సర్వర్ ఐడెంటిటీ ద్వారా నేమ్స్పేస్ (namespace) చేయండి.
ఒకే గేట్వేను నిర్మించండి. మొత్తం ట్రాఫిక్ను ఒక ఆడిటబుల్ చోక్ పాయింట్ (auditable choke point) ద్వారా పంపండి. ఈ గేట్వే కాల్ చేసేవారిని ధృవీకరించాలి (authenticate), స్పందనలను స్కాన్ చేయాలి మరియు రేట్-లిమిట్ చేయాలి. గేట్వే ఏదైనా లోపాన్ని గుర్తిస్తే, అది రిక్వెస్ట్ను తిరస్కరించాలి. కేవలం లాగ్ చేసి వదిలేయకండి.
నిజమైన కిల్ స్విచ్ను (kill switch) సృష్టించండి. చాలా కిల్ స్విచ్లు కేవలం ప్రధాన ఏజెంట్ను మాత్రమే ఆపుతాయి. దీనివల్ల సబ్-ఏజెంట్లు మరియు టూల్ సెషన్లు నడుస్తూనే ఉంటాయి. నిజమైన స్టాప్ సిగ్నల్ ప్రతి సబ్-ఏజెంట్కు చేరుకోవాలి మరియు ప్రతి సెషన్ను సురక్షిత స్థితిలో ఉంచాలి.
మీ భద్రతా వ్యవస్థలను పరీక్షించండి. మీరు కిల్ స్విచ్ను ఎప్పుడూ పరీక్షించకపోతే అది నిరుపయోగం. మీరు స్విచ్ నొక్కినప్పుడు సబ్-ఏజెంట్లు నిజంగా ఆగిపోతున్నాయో లేదో నిర్ధారించుకోవడానికి డ్రిల్స్ నిర్వహించండి.
AI టూల్స్ను సాఫ్ట్వేర్ డిపెండెన్సీల (software dependencies) వలె పరిగణించండి. అదే జాగ్రత్తలను పాటించండి: పిన్ చేయండి, సైన్ చేయండి, ఫింగర్ప్రింట్ చేయండి మరియు ధృవీకరించండి.
మీ ఏజెంట్లు ఈరోజు లోడ్ చేసే టూల్స్ను మీరు ఎలా పరిశీలిస్తారు? మీరు ఆమోదించిన తర్వాత ఒక టూల్ మారితే మీరు దానిని గుర్తించగలరా?
Source: https://dev.to/brennhill/your-ai-agent-is-only-as-secure-as-the-tools-and-agents-it-calls-53p7
Optional learning community: https://t.me/GyaanSetuAi