మీ ఏజెంట్ ప్రతిదీ తనిఖీ చేసింది. అయినప్పటికీ అది తప్పుగానే ఉంది.
నేను ఒక మల్టీ-ఏజెంట్ వర్క్ఫ్లోను (multi-agent workflow) నడుపుతాను. ఒక మోడల్ డిజైన్ చేస్తుంది. మరొకటి కోడ్ రాస్తుంది. ఇంకొకటి దానిని రివ్యూ చేస్తుంది. చివరి ఫలితాన్ని నేను ఆమోదిస్తాను.
ఇటీవల, మూడు వైఫల్యాలు ఈ పైప్లైన్ ద్వారా వెళ్ళిపోయాయి. ప్రతి ఏజెంట్ తన పనిని ఖచ్చితంగా చేసింది. సిస్టమ్ స్థిరంగా ఉంది, అయినప్పటికీ అది నిరంతరం తప్పుగానే ఉంది.
ఇది తెలివితేటలకు (intelligence) సంబంధించిన సమస్య కాదు. ఇది బౌండరీ (boundary) సమస్య. మీరు అందించిన సందర్భంలో (context), మీరు అడిగిన పనిని మాత్రమే ఏజెంట్ ఖచ్చితంగా చేస్తుంది. అది స్వయంగా కొత్త విషయాలను వెతికి తనిఖీ చేయదు.
ఇక్కడ మూడు వాస్తవ ప్రపంచ వైఫల్యాలు మరియు వాటిని ఎలా సరిదిద్దాలో ఉన్నాయి:
- విజయం వైఫల్యాన్ని దాచిపెట్టడం ఒక ETL పైప్లైన్ ఒక API నుండి డేటాను సేకరించింది. API సెషన్ ముగిసిపోయింది (expired). ఎర్రర్ కోడ్ బదులుగా, API ఒక HTTP 200ను తిరిగి ఇచ్చింది, కానీ దానిలోని JSON లో ఒక ఎర్రర్ మెసేజ్ ఉంది. ఏజెంట్ ఎర్రర్ కోడ్ కోసం తనిఖీ చేసింది, ఏదీ కనిపించలేదు, కాబట్టి డేటా సరైనదని భావించింది.
- పరిష్కారం: సెమాంటిక్ వాలిడేషన్ (semantic validation) ఉపయోగించండి. కాల్ విజయవంతమైందో లేదో మాత్రమే చూడకండి. తిరిగి వచ్చిన డేటా ఆశించిన స్ట్రక్చర్ (structure) మరియు రో కౌంట్ (row count) తో సరిపోలుతుందో లేదో తనిఖీ చేయండి.
- మిస్సింగ్ ఆర్టిఫాక్ట్స్ (Missing artifacts) ఒక కోడ్ జనరేటర్ ఒక చిప్ కోసం C ఫైళ్లను రూపొందించింది. రివ్యూయర్ కోడ్ సరైనదని ధృవీకరించారు. అయితే, జనరేటర్ అవసరమైన విడ్జెట్ టేబుల్ ఫైల్ను (widget table file) సృష్టించలేదు. రివ్యూయర్ ఉన్న ఫైళ్లను మాత్రమే తనిఖీ చేశారు కానీ, లేని ఫైళ్ల కోసం చూడలేదు.
- పరిష్కారం: అవుట్పుట్ యొక్క సంపూర్ణతను (completeness) ధృవీకరించండి. ఎల్లప్పుడూ అవసరమైన ఫైళ్లను ముందుగా జాబితా చేయండి. తదుపరి దశకు వెళ్లే ముందు ప్రతి ఫైల్ ఉందో లేదో మరియు అది ఖాళీగా లేదని నిర్ధారించుకోండి.
- తప్పుడు సాంకేతిక వాదనలు (False technical claims) ఒక SDK ఫోల్డర్ RISC-V చిప్ కోసం అని పేర్కొంది, కానీ హెడర్ కామెంట్స్ అది CSKY ప్రాసెసర్ కోసం అని చెప్పాయి. ఏజెంట్ ఫోల్డర్ పేరు మరియు కామెంట్లను నమ్మింది. ఆ వాదన తప్పు అని నిరూపించే అసలు మెషిన్ ఇన్స్ట్రక్షన్స్ (machine instructions) ను అది విస్మరించింది.
- పరిష్కారం: గ్రౌండ్-ట్రూత్ వెరిఫికేషన్ (ground-truth verification) ఉపయోగించండి. ఒక ఫైల్ ఏదైనా వాదన చేస్తే, ఆ వాదనను ఒక కమాండ్తో పరీక్షించండి. కామెంట్లను లేదా డైరెక్టరీ పేర్లను నమ్మకండి. ముడి డేటా (raw data) ను మాత్రమే నమ్మండి.
ఏజెంట్లు మీరు దేనిని తనిఖీ చేయమని చెబితే దానినే తనిఖీ చేస్తాయి. అవి "ఇంకా ఏమి తప్పుగా ఉండవచ్చు?" అని అడగవు.
మీరు బౌండరీలను రూపొందించాలి. మీ వర్క్ఫ్లో యొక్క అంచులలో వెరిఫికేషన్ చెక్పాయింట్లను నిర్మించాలి.
Source: https://dev.to/antonio_zhu_e726fd856cd86/your-agent-checked-everything-it-was-still-wrong-18kd
Optional learning community: https://t.me/GyaanSetuAi