AI ఏజెంట్లకు వాటి టూల్స్ను మళ్ళీ రన్ చేయడానికి స్పష్టమైన అనుమతి ఇచ్చినప్పుడు, అవి అద్భుతంగా కోలుకుంటాయని రచయిత కనుగొన్నారు – ఒక చిన్న పద మార్పు వల్ల రిపేర్ సక్సెస్ రేటు 0.16 నుండి 1.00కి పెరిగింది. “action-licensing” అని పిలవబడే ఈ ఫలితం, ఏజెంట్ను తన పనిని తనిఖీ చేయమని ప్రోత్సహించడం అనేది కేవలం లక్ష్యాన్ని మళ్ళీ చెప్పడం కంటే చాలా ప్రభావవంతంగా ఉంటుందని చూపుతుంది.
ఈ పరిష్కారం ఎందుకు ముఖ్యమైనది
బాహ్య టూల్స్ను (databases, calculators, APIs) పిలవగలిగే AI అసిస్టెంట్లను బిజినెస్ వర్క్ఫ్లోల కోసం రోజురోజుకూ ఎక్కువగా ఉపయోగిస్తున్నారు. ఆ ఏజెంట్లు తప్పు చేసినప్పుడు, ఆ తప్పు తరచుగా నిశ్శబ్దంగా వ్యాపిస్తుంది, స్పష్టమైన ఫెయిల్యూర్ సిగ్నల్స్ లేకుండా తప్పుడు సమాధానాలను ఇస్తుంది. మొత్తం ప్రాంప్ట్ను తిరిగి రాయకుండానే జోక్యం చేసుకునే నమ్మకమైన మార్గం డెవలపర్ల సమయాన్ని ఆదా చేయగలదు మరియు ప్రొడక్షన్ సిస్టమ్స్లో ఖరీదైన తప్పులను నివారించగలదు.
వైఫల్యాలు ఎలా కనిపిస్తాయి
రచయిత రెండు సాధారణ, తక్కువ దృశ్యమాన వైఫల్య నమూనాలను గమనించారు:
Skipped Lookup – ఏజెంట్కు ఒక సమాచారాన్ని పొందాలని తెలుసు (ఉదాహరణకు, ఒక ID నుండి మేనేజర్ పేరు), కానీ లుకప్ టూల్ను ఉపయోగించకుండా నేరుగా ఒక సమాధానాన్ని సృష్టిస్తుంది. పైపైన చూస్తే ఆ సమాధానం నిజమైనదిగా అనిపించవచ్చు, కానీ అందులో వాస్తవ ఆధారాలు ఉండవు.
Validated Nonsense – ఏజెంట్ ఒక టూల్కు తప్పుగా ఉన్న లేదా సరిగ్గా లేని డేటాను పంపిస్తుంది. ఆ టూల్ ఎటువంటి ఎర్రర్ను చూపకుండా ఫలితాన్ని తిరిగి ఇస్తుంది, మరియు ఏజెంట్ ఆ ఫలితాన్ని నిర్ధారణగా భావించి, తన సొంత తప్పును సమర్థించుకుంటుంది.
ఈ రెండు నమూనాలు వినియోగదారుడికి నమ్మకమైన కానీ తప్పుడు సమాధానాన్ని ఇస్తాయి, మరియు డెవలపర్లు గమనించే లూప్ లేదా మిస్సింగ్ రెస్పాన్స్ వంటి సాధారణ సంకేతాలను ఇవి చూపించవు.
ప్రయోగం
వివిధ ప్రాంప్ట్లు రిపేర్ను ఎలా ప్రభావితం చేస్తాయో కొలవడానికి, రచయిత కఠినమైన గ్రౌండ్-ట్రూత్ సమాధానాలతో (LLM-ఆధారిత గ్రేడింగ్ లేకుండా) ఒక నియంత్రిత పరీక్షను ఏర్పాటు చేశారు. రెండు ప్రోత్సాహకాలను (nudges) పోల్చారు:
Goal-only nudge – “సమాధానం మేనేజర్ పేరు అయి ఉండాలి.” Recovery rate: 0.16.
Action-licensing nudge – “సమాధానం మేనేజర్ పేరు అయి ఉండాలి. వెరిఫై చేయడానికి టూల్స్ను ఉపయోగించండి.” Recovery rate: 1.00 (అన్ని ఫెయిల్ అయిన రన్లు సరిదిద్దబడ్డాయి).
టూల్ను మళ్ళీ అమలు చేయడానికి ఇచ్చిన స్పష్టమైన అనుమతి మాత్రమే వీటి మధ్య తేడా. రెండవ ప్రాంప్ట్ ఏజెంట్కు తాను వెనక్కి వెళ్లి, మిస్సింగ్ డేటాను సేకరించి, తన మునుపటి ఊహను సరిదిద్దుకోవచ్చని తెలియజేసింది. ఆ అనుమతి, దాదాపు ప్రభావం లేని ప్రోత్సాహకాన్ని పరీక్షించిన కేసుల కోసం గ్యారెంటీడ్ ఫిక్స్గా మార్చింది.
ఈ సంఖ్యలు దేనిని సూచిస్తున్నాయి
0.16 నుండి 1.00కి పెరగడం అనేది, సరిదిద్దడంలో అడ్డంకి ఏజెంట్కు లక్ష్యంపై ఉన్న అవగాహన కాదు, కానీ అది పని చేసే స్వేచ్ఛ గురించి దానికున్న భావన అని సూచిస్తుంది. ప్రాంప్ట్ మోడల్కు “నువ్వు మళ్ళీ ప్రయత్నించవచ్చు” అని చెప్పినప్పుడు, అది పరిస్థితిని ఒక డెడ్-ఎండ్ లా కాకుండా ఒక కొత్త సబ్-టాస్క్లా పరిగణిస్తుంది, తద్వారా టూల్-కాల్ చైన్ మళ్ళీ ప్రారంభమవుతుంది.
ప్రాంప్ట్-ఓన్లీ ఫిక్స్ల పరిమితులు
ప్రాంప్టింగ్ ద్వారా మాత్రమే ఏజెంట్ను రక్షించలేని సందర్భాలను కూడా ఈ ప్రయోగం హైలైట్ చేసింది:
ఒక డౌన్స్ట్రీమ్ టూల్ తప్పు ఇన్పుట్ను నిశ్శబ్దంగా అంగీకరించి విలువను తిరిగి ఇస్తే, తన డేటా తప్పు అని ఏజెంట్కు ఎటువంటి సంకేతం ఉండదు. ఎంత ప్రాంప్ట్లను మార్చినా అది లోపాన్ని గుర్తించలేదు; టూల్ స్వయంగా ఇన్పుట్ వాలిడేషన్ను అమలు చేయాలి లేదా ఎర్రర్ను చూపాలి.
టూల్స్ను పిలవడంలోనే ఇబ్బంది పడే ఏజెంట్లకు “use tools” అనే సూచన వల్ల ఎటువంటి ప్రయోజనం ఉండదు, ఎందుకంటే ప్రాథమిక సామర్థ్యం లోపించింది. అటువంటి మోడల్స్పై రిపేర్ను పరీక్షించడం వల్ల ప్రాంప్ట్ యొక్క సామర్థ్యం మరియు మోడల్ యొక్క ప్రాథమిక టూల్-కాలింగ్ సామర్థ్యం రెండింటినీ కలిపి అంచనా వేసే ప్రమాదం ఉంది.
డెవలపర్ల కోసం ఆచరణాత్మక సూచనలు
అనుమతి ఇవ్వండి – మీరు జోక్యం చేసుకున్నప్పుడు, ఏజెంట్ టూల్ కాల్ను మళ్ళీ చేయవచ్చని లేదా మళ్ళీ లెక్కించవచ్చని స్పష్టంగా చెప్పండి. కేవలం కావలసిన ఫలితాన్ని మళ్ళీ చెప్పడం వల్ల ఏజెంట్ తన పాత, తప్పు మార్గంలోనే చిక్కుకుపోయే అవకాశం ఉంది.
టూల్స్ను రక్షించండి – ఏజెంట్ ఉపయోగించే టూల్స్లో ఇన్పుట్ చెక్స్ను మరియు స్పష్టమైన ఎర్రర్ మెసేజ్లను రూపొందించండి. ఇది “validated nonsense” లోపల నుండి బయటకు రాకుండా నిరోధిస్తుంది.
ముందే గుర్తించండి – తప్పును ఎంత త్వరగా గుర్తిస్తే, రీ-ఎగ్జిక్యూషన్ ప్రాంప్ట్ విజయవంతం కావడానికి అంత సులభం అవుతుంది. ఆశించిన మరియు వాస్తవ టూల్ వినియోగం మధ్య తేడాలను పర్యవేక్షించడం ద్వారా సరైన సమయంలో రిపేర్ ప్రాంప్ట్ను ట్రిగ్గర్ చేయవచ్చు.
మోడల్ సామర్థ్యాలను ధృవీకరించండి – ప్రాంప్ట్ ఆధారిత రిపేర్పై ఆధారపడటానికి ముందు, మోడల్ మొదట టూల్స్ను నమ్మకంగా పిలవగలదని నిర్ధారించుకోండి. లేకపోతే మీరు ఒక బలహీనమైన పునాదిపై ప్రాంప్ట్ ప్రభావాన్ని కొలుస్తున్నట్లు అవుతుంది.
ముగింపు: ఒక AI ఏజెంట్కు తన పనిని మళ్ళీ చేయడానికి స్పష్టమైన అనుమతి ఇవ్వడం అనేది, సగం ప్రయత్నమైన పరిష్కారాన్ని పూర్తి రికవరీగా మార్చగలదు. ప్రాంప్ట్ డిజైనర్లు “use tools to verify” అనే అంశాన్ని ఒక ఐచ్ఛిక అంశంగా కాకుండా, ఒక సేఫ్టీ వాల్వ్లా పరిగణించాలి.