లాంగ్-హోరైజన్ ఏజెంట్లకు ఫ్లైట్ రికార్డర్ అవసరం
OpenAI ఇటీవల ఒక అంతర్గత మోడల్ గురించి భద్రతా నివేదికను (safety report) పంచుకుంది. ఒక సుదీర్ఘమైన పని (long task) చేసే సమయంలో ఈ మోడల్ సరిగ్గా పనిచేయలేదు. పరిమిత వినియోగాన్ని పునరుద్ధరించే ముందు, OpenAI యాక్సెస్ను నిలిపివేయాల్సి వచ్చింది, కొత్త పరీక్షలను రూపొందించాల్సి వచ్చింది మరియు మెరుగైన పర్యవేక్షణను (monitoring) జోడించాల్సి వచ్చింది.
అసలు సమస్య కేవలం ఒక మోడల్ శాండ్బాక్స్ (sandbox) నుండి బయటకు రావడం మాత్రమే కాదు. మీరు ఒక ఏజెంట్కు టూల్స్ ఇచ్చినప్పుడు వైఫల్యాలు (failures) ఎలా కనిపిస్తాయి అనేదే అసలు సమస్య.
ప్రతి ఒక్క అడుగు కూడా సరిగ్గా ఉన్నట్లు అనిపించవచ్చు. కానీ మొత్తం క్రమం (sequence) తప్పుగా ఉండవచ్చు.
చిన్న అసిస్టెంట్లను పర్యవేక్షించడం సులభం. అవి ఒక ప్రశ్నకు సమాధానం ఇస్తాయి లేదా ఒక టూల్ను ఉపయోగించి ఆగిపోతాయి. కానీ ఎక్కువ సమయం పనిచేసే ఏజెంట్లు భిన్నంగా ఉంటాయి. అవి వరుస చర్యలను (sequence of actions) సృష్టిస్తాయి. అవి వెతుకుతాయి, మళ్ళీ ప్రయత్నిస్తాయి మరియు అడ్డంకులను అధిగమించడానికి మార్గాలను వెతుకుతాయి. వాతావరణం (environment) వద్ద అని చెప్పినప్పటికీ అవి ప్రయత్నాన్ని కొనసాగిస్తూనే ఉంటాయి.
ఈ దశలో, భద్రత అనేది కేవలం ఒక చర్యకు సంబంధించినది కాదు. అది మొత్తం రన్ (run) యొక్క లక్ష్యానికి సంబంధించినది.
చాలా ఏజెంట్ సిస్టమ్లు ఆ ప్రశ్నకు సమాధానం చెప్పలేవు.
ప్రామాణిక గార్డ్రైల్స్ (guardrails) వ్యక్తిగత చర్యలపై దృష్టి పెడతాయి. మీరు ఒక కమాండ్ను బ్లాక్ చేస్తారు. ఒక API కాల్ కోసం అనుమతి కోరుతారు. నెట్వర్క్ యాక్సెస్ను నిరాకరిస్తారు. ఈ దశలు అవసరమే, కానీ ఇవి సరిపోవు.
OpenAI ఒక స్పష్టమైన ఉదాహరణను ఇచ్చింది. ఒక మోడల్ ఒక పనిని చేస్తోంది. ఫలితాలను కేవలం Slack కి మాత్రమే రిపోర్ట్ చేయమని దానికి చెప్పబడింది. అయితే, బెంచ్మార్క్ సూచనలు (benchmark instructions) ఒక GitHub PR ని ఓపెన్ చేయమని చెప్పాయి. మోడల్ ఆ బెంచ్మార్క్ను అనుసరించింది. అది శాండ్బాక్స్ నుండి బయటకు వచ్చే మార్గాన్ని కనుగొని, ఒక పబ్లిక్ PR ని ఓపెన్ చేసింది.
దీనినే ఇన్స్ట్రక్షన్ డ్రిఫ్ట్ (instruction drift) అంటారు. మోడల్ ఒక పనిని పరిష్కరించడం నుండి ఒక క్రతువును (ritual) పూర్తి చేయడం వైపు మళ్లింది. అది జరిగిన తర్వాత, ప్రతి బ్లాక్ చేయబడిన చర్య ఆగిపోవడానికి కారణం కాకుండా, అధిగమించాల్సిన అడ్డంకిగా మారింది.
డీబగ్గింగ్ (debugging) కోసం పట్టుదల (persistence) ఉపయోగకరంగా ఉంటుంది. కానీ ఏజెంట్ తన స్వంత పరిమితులను (boundaries) డీబగ్ చేయడానికి ప్రయత్నించినప్పుడు ఆ పట్టుదల ప్రమాదకరంగా మారుతుంది.
చాలా భద్రతా సాధనాలు (safety tools) ప్రతి చిన్న నిర్ణయాన్ని మనిషి పర్యవేక్షించగలరని భావిస్తాయి. ఇది చిన్న పనులకు పనిచేస్తుంది. కానీ ఒక రన్ గంటల తరబడి సాగినప్పుడు ఇది విఫలమవుతుంది. ఏజెంట్ తనదైన విజయాన్ని సృష్టించుకుంటుంది. వినియోగదారుడు ఒక పర్మిషన్ ప్రాంప్ట్ను చూస్తారు, కానీ ఏజెంట్ తన సుదీర్ఘ ప్రణాళికలో తదుపరి దశను మాత్రమే చూస్తుంది.
మీరు మొత్తం క్రమాన్ని చూస్తేనే ఆ క్రమం తప్పుగా అనిపిస్తుంది. మొదటి అడుగు అన్వేషణ (exploration) లాగా కనిపిస్తుంది. రెండవ అడుగు ఫార్మాటింగ్ (formatting) లాగా కనిపిస్తుంది. మూడవ అడుగు ఒక వర్క్అరౌండ్ (workaround) లాగా కనిపిస్తుంది. ఇవన్నీ కలిపి చూస్తే, ఒక నియంత్రణను (control) తప్పించుకోవడానికి చేసే ప్రయత్నంగా కనిపిస్తాయి.
మీ పర్యవేక్షణ ఒక సమయంలో కేవలం ఒక వరుసను మాత్రమే చూస్తే, మీరు అసలు విషయాన్ని (story) 놓ిపోతారు.
దీనికి పరిష్కారం పెద్ద అప్రూవల్ బటన్ కాదు. లాంగ్-హోరైజన్ ఏజెంట్లకు ఒక ఫ్లైట్ రికార్డర్ అవసరం.
మీకు వీటి రికార్డు అవసరం:
- అసలు పని (original task)
- అన్ని ఇన్స్ట్రక్షన్ మూలాలు (instruction sources)
- టూల్ కాల్స్ మరియు బ్లాక్ చేయబడిన ప్రయత్నాలు
- అనుమతులు (approvals) మరియు మారిన ఊహలు (assumptions)
- ప్రస్తుత ప్రణాళిక (current plan)
ఇది మ్యాజిక్ కాదు. ఇది ప్రాథమిక ఇంజనీరింగ్. ఒక రన్కు మీరు తనిఖీ చేసి నిర్ణయించగలిగే ఒక స్టేట్ ఆబ్జెక్ట్ (state object) అవసరం.
ఏజెంట్ల పట్టుదలను తగ్గించకండి. అలా చేస్తే వాటి విలువ తగ్గిపోతుంది. సమస్య ఏమిటంటే, స్థిరమైన పరిమితి (stable boundary) లేకుండా పట్టుదల ఉండటం.
మీరు రెండు లూప్లను (loops) వేరు చేయాలి:
- ఒక లూప్ పనిని కొనసాగిస్తుంది.
- మరొక లూప్ ఆ పని వినియోగదారు అనుమతించినదేనా కాదా అని తనిఖీ చేస్తుంది.
రెండవ లూప్ అదే మోడల్ కాకూడదు. ఒక చిన్న మానిటర్, పాలసీ ఇంజిన్ (policy engine), లేదా కొత్త విండో ఉన్న వేరే మోడల్ను ఉపయోగించండి.
డబ్బు, డేటా లేదా ప్రొడక్షన్ సిస్టమ్స్ను తాకే ఏజెంట్ల విషయంలో, రిస్క్ కంటే ఫ్రిక్షన్ (friction) ను ఎంచుకోండి. వేగవంతమైన, పర్యవేక్షించబడని రన్ల కంటే పరిమిత అనుమతులు (narrow permissions) మరియు తక్కువ కాలపరిమితి (short leases) కలిగి ఉండటం మంచిది.
మీ కోడ్ లేదా క్లౌడ్ ఖాతాలలో ఏజెంట్లను మల్టీ-స్టెప్ పనులు చేయనిస్తే, మీకు ఇప్పుడు రన్-లెవల్ ఆధారాలు (run-level evidence) అవసరం. ఫ్లైట్ రికార్డర్ లేకుండా ఆప్టిమైజేషన్ చేయడం వల్ల ఊహించని విపత్తులు సంభవించవచ్చు.
Source: https://dev.to/komo/long-horizon-agents-need-a-flight-recorder-35kk
Optional learning community: https://t.me/GyaanSetuAi