ఏజెంట్ రన్టైమ్ ఈవెంట్ మోడల్
ఏజెంట్ ఫ్రేమ్వర్క్ల గురించి వాదించడం ఆపండి.
ఇంజనీర్లు తరచుగా LangChain, CrewAI ఉపయోగించాలా లేదా సొంతంగా నిర్మించుకోవాలా అని అడుగుతుంటారు. ఇది తప్పు ప్రశ్న. అసలైన నిర్ణయం ఏమిటంటే, మీ ఏజెంట్ రన్టైమ్లో మీరు పాలసీని (policy) ఎక్కడ అనుసంధానిస్తారు అనేది.
ఫ్రేమ్వర్క్లు మారుతుంటాయి. కానీ పాలసీ కోసం ఉండే ఆర్కిటెక్చరల్ అవసరం మాత్రం మారదు.
బగ్స్ మరియు సెక్యూరిటీ లీక్లను నివారించడానికి ప్రతి ప్రొడక్షన్ ఏజెంట్ స్టాక్కు నాలుగు నిర్దిష్ట రన్టైమ్ ఈవెంట్లు అవసరం:
• UserPromptSubmit: ప్రాంప్ట్ మోడల్కు చేరుకోకముందు. సీక్రెట్స్ (secrets) మరియు PII ని నిరోధించడానికి దీనిని ఉపయోగించండి. • PreToolUse: ఒక టూల్ పనిచేయకముందు. ఖర్చు బడ్జెట్లు మరియు టూల్ వైట్లిస్ట్లను అమలు చేయడానికి దీనిని ఉపయోగించండి. • PostToolUse: ఒక టూల్ ఫలితాన్ని ఇచ్చిన తర్వాత. PII లేదా ఇంజెక్షన్ దాడులను (injection attacks) స్కాన్ చేయడానికి దీనిని ఉపయోగించండి. • Stop: ఏజెంట్ పని పూర్తి చేసిన తర్వాత. ఏజెంట్ నిజంగా పనిని పూర్తి చేసిందో లేదో ధృవీకరించడానికి దీనిని ఉపయోగించండి.
ప్రతి ఈవెంట్కు ఒక ప్రత్యేకమైన పని ఉంటుంది.
ప్రాంప్ట్ సబ్మిషన్ వేగంగా ఉండాలి. యూజర్ వేచి చూడకుండా ఉండటానికి ఇది మిల్లీసెకన్లలోనే జరగాలి. Stop ఈవెంట్ కొంచెం ఎక్కువ సమయం తీసుకోవచ్చు. యూజర్ ఫలితాన్ని చూసేలోపు, ఏజెంట్ నిజంగా తన పనిని పూర్తి చేసిందో లేదో ధృవీకరించడానికి మీరు ఒక సెకను సమయం కేటాయించవచ్చు.
మీ హుక్స్ (hooks) విఫలమైనప్పుడు ఎలా ఉండాలో కూడా మీరు నిర్ణయించుకోవాలి.
ఒక సెక్యూరిటీ హుక్ క్రాష్ అయితే, మీరు 'fail closed' (అభ్యర్థనను నిరాకరించడం) విధానాన్ని అనుసరించాలి. ఒక సీక్రెట్ లీక్ అవ్వడం కంటే అభ్యర్థనను తిరస్కరించడం మంచిది. ఒక క్వాలిటీ చెక్ క్రాష్ అయితే, యూజర్కు సమాధానం అందేలా 'fail open' (అభ్యర్థనను అనుమతించడం) విధానాన్ని అనుసరించవచ్చు.
ఫ్రేమ్వర్క్లు సామాన్యమైనవి (commodity). మీ పాలసీ కవరేజ్ మాత్రమే మీ అసలైన బలం (moat).
మీ ప్రస్తుత స్టాక్ గురించి ఈ మూడు ప్రశ్నలను మిమ్మల్ని మీరు అడగండి:
- ప్రాంప్ట్లలో సీక్రెట్స్ లీక్ కాకుండా ఏ ఈవెంట్ ఆపుతుంది?
- ఏజెంట్ పని పూర్తి చేసినట్లు అబద్ధం చెబితే ఏ ఈవెంట్ దాన్ని పట్టుకుంటుంది?
- మోడల్ వాటిని చదవకముందే, టూల్ అవుట్పుట్లలో PII కోసం ఏ ఈవెంట్ తనిఖీ (audit) చేస్తుంది?
మీరు వీటికి సమాధానం చెప్పలేకపోతే, మీ ఏజెంట్ ప్రొడక్షన్ కోసం సిద్ధంగా లేదని అర్థం.
Source: https://dev.to/willianpinho/the-agent-runtime-event-model-55l9
Optional learning community: https://t.me/GyaanSetuAi