నా రూటీన్ అది రన్ అయిందని చెప్పింది. కానీ అది అబద్ధం చెప్పింది.
నేను ఒక AI సిస్టమ్ను నడుపుతున్నాను. అది తనను తాను నిర్వహించుకోవడానికి ఒక షెడ్యూల్ను అనుసరిస్తుంది. ఒక రూటీన్ ఫైల్ను సేవ్ చేయడానికి వారానికి రెండుసార్లు రన్ అవుతుంది.
షెడ్యూలర్ అది రన్ అయిందని చెప్పింది. టైమ్స్టాంప్ కూడా ఉంది. స్టేటస్ గ్రీన్ (green) లో ఉంది.
ఆ ఫైల్ అక్కడ లేదు. అది తప్పు ఫోల్డర్లో కూడా లేదు. అది ఎక్కడా లేదు.
స్వయంప్రతిపత్తి కలిగిన ఏజెంట్లను (autonomous agents) నిర్మించేటప్పుడు ప్రజలు ఈ విషయాన్ని గమనించరు. "అది రన్ అయింది" మరియు "అది పని చేసింది" అనేవి ఒకటే కావు. చాలా డ్యాష్బోర్డ్లు అది రన్ అయిందో లేదో మాత్రమే తనిఖీ చేస్తాయి.
ఒక షెడ్యూలర్ ఒక ప్రాసెస్ ప్రారంభమైందని మీకు చెబుతుంది. కానీ దాని ఫలితం గురించి ఏమీ చెప్పదు. నా రూటీన్ ప్రారంభమైంది, ఒక మిస్సింగ్ ఫైల్ను చదవడంలో లోపం (error) ఎదురై ఆగిపోయింది. అది క్రాష్ (crash) కాలేదు. ఎటువంటి ఎర్రర్ మెసేజ్ కూడా రాలేదు. అది రన్ అయింది, కానీ ఏమీ ఉత్పత్తి చేయలేదు.
నేను స్టేటస్ను చూడటం మానేశాను. నేరుగా డిస్క్ను పరిశీలించాను. నేను మూడు తనిఖీలను ఉపయోగించాను:
- అవుట్పుట్ ఫైల్ ప్రస్తుతం ఉందా?
- ఫైల్ కొత్తగా ఉందా మరియు ఖాళీగా లేదా?
- ఒకవేళ ఫైల్ లేకపోతే, రా (raw) రన్ లాగ్ను చదవండి. సమ్మరీని (summary) చదవకండి. ప్రతి టూల్ కాల్ (tool call) యొక్క అసలు ట్రాన్స్క్రిప్ట్ను చదవండి.
సమ్మరీ ఆ రూటీన్ "ఎపిసోడిక్" (episodic) అని చెప్పింది. కానీ ట్రాన్స్క్రిప్ట్ నిజం చెప్పింది. ఏజెంట్ ఒక మెమరీ ఫైల్ను చదవడానికి ప్రయత్నించింది. ఆ ఫైల్ లేదు. ఫైల్ను సృష్టించే దశకు ఏజెంట్ ఎప్పుడూ చేరుకోలేదు. అది ఒక్క రైట్ కాల్ (write call) కూడా చేయలేదు.
సమ్మరీ నన్ను తప్పు పరిష్కారం వైపు నడిపించేది.
మీరు స్వయంప్రతిపత్తి కలిగిన సిస్టమ్లను నడుపుతుంటే, ఈ నియమాలను గుర్తుంచుకోండి:
- "రన్ అయింది" అంటే "పని చేసింది" అని కాదు. ఫైలే అసలైన ఆరోగ్యం (health). ఫైల్ తప్పనిసరిగా ఉండాలి, అది కొత్తది అయి ఉండాలి మరియు ఖాళీగా ఉండకూడదు.
- స్పెసిఫికేషన్ (spec) అనేది ఒక ఊహ మాత్రమే. డిస్క్ అనేది వాస్తవం. అవి రెండూ భిన్నంగా ఉన్నప్పుడు, డిస్క్ను నమ్మండి.
- రా (raw) లాగ్ను చదవండి. ఫెయిల్ అయిన సిస్టమ్ ద్వారానే సమ్మరీ రాయబడుతుంది. ఏ టూల్స్ నిజంగా రన్ అయ్యాయో ట్రాన్స్క్రిప్ట్ చూపిస్తుంది.
పరిష్కారం చాలా సరళం. నేను రూటీన్ను మొదట దాని ఫైల్ను రాసేలా మార్చాను. ఇప్పుడు అది ఏ ఇతర దశ కంటే ముందే ఫైల్ను రాస్తుంది.
చాలా ఏజెంట్ సమస్యలు రీజనింగ్ (reasoning) వైఫల్యాలు కావు. అవి ప్లంబింగ్ (plumbing) వైఫల్యాలు.
Source: https://dev.to/eltony_lfgi/my-routine-said-it-ran-it-was-lying-2gfb
Optional learning community: https://t.me/GyaanSetuAi