The Confabulation Cascade (కల్పిత సమాచార ప్రవాహం)
నా AI ఏజెంట్ ఒక లూప్లో చిక్కుకుపోయింది.
అది ఒక తప్పు కాలమ్ పేరుతో SQL క్వెరీని రాసేది. డేటాబేస్ ఒక ఎర్రర్ను తిరిగి ఇచ్చేది. ఆ ఎర్రర్ మెసేజ్లో అసలైన కాలమ్ జాబితా ఉండేది. ఏజెంట్ ఆ సవరణను చదివేది. ఆ తర్వాత, అది మళ్ళీ అదే తప్పు కాలమ్ పేరును రాసేది.
దీనిని నేను కల్పిత సమాచార ప్రవాహం (confabulation cascade) అని పిలుస్తాను.
ఇది మోడల్ సమస్య కాదు. ఇది టూల్ డిజైన్ సమస్య.
ఈ లూప్ ఎలా పనిచేస్తుందంటే:
- ఏజెంట్ తన శిక్షణ (training) ఆధారంగా ఒక క్వెరీని రూపొందిస్తుంది.
- ఆ క్వెరీ విఫలమవుతుంది.
- ఎర్రర్ మెసేజ్ నిజమైన సమాచారాన్ని అందిస్తుంది.
- ఏజెంట్ ఆ నిజాన్ని చూసినప్పటికీ, దానికి బదులుగా తన అంతర్గత శిక్షణపైనే ఆధారపడుతుంది.
- ఏజెంట్ అదే తప్పును మళ్ళీ చేస్తుంది.
ఏజెంట్ రెండు సంకేతాలను (signals) ఎదుర్కొంటుంది. ఒకటి ఎర్రర్ మెసేజ్, రెండోది మోడల్ యొక్క శిక్షణ. శిక్షణ తరచుగా బలంగా ఉంటుంది. ఎర్రర్ మెసేజ్ ఒక్కసారి మాత్రమే కనిపిస్తుంది. కానీ మోడల్ రాసే ప్రతి పదంతో పాటు శిక్షణ కనిపిస్తూనే ఉంటుంది.
నేను దీనిని ప్రాంప్ట్ ఇంజనీరింగ్ (prompt engineering) ద్వారా సరిచేయడానికి ప్రయత్నించాను. ఎర్రర్ల పట్ల శ్రద్ధ వహించాలని మోడల్కు చెప్పాను. కానీ అది పని చేయలేదు.
అసలు సమస్య ఏమిటంటే, నా ఏజెంట్ విఫలమవ్వడం ద్వారా మాత్రమే నేర్చుకోగలదు. అది పని చేసే ముందు టేబుల్ స్ట్రక్చర్ను తనిఖీ చేసే మార్గం దానికి లేదు. అది ఊహించాల్సిందే.
మీరు ఒక మనిషికి API ఇస్తే, వారితో పాటు డాక్యుమెంటేషన్ను కూడా ఇస్తారు. ఎర్రర్ మెసేజ్లు వారికి స్కీమాను (schema) నేర్పే వరకు, మీరు వారిని తప్పు రిక్వెస్ట్లు పంపేలా చేయరు.
నేను ఒక ప్రోయాక్టివ్ టూల్ను నిర్మించడం ద్వారా దీనిని పరిష్కరించాను. ఎర్రర్ కోసం వేచి ఉండటానికి బదులుగా, ఏజెంట్ ఇప్పుడు మొదట describe_table టూల్ను పిలుస్తుంది.
కొత్త వర్క్ఫ్లో (workflow):
- ఏజెంట్ ఒక టేబుల్ను క్వెరీ చేయాలనుకుంటుంది.
- అసలైన కాలమ్స్ చూడటానికి ఏజెంట్ describe_tableను పిలుస్తుంది.
- ఏజెంట్కు సరైన పేర్లు మరియు రకాలు (types) లభిస్తాయి.
- ఏజెంట్ మొదటి ప్రయత్నంలోనే సరైన క్వెరీని రాస్తుంది.
లూప్ ఆగిపోయింది. మోడల్ తెలివైనదిగా మారలేదు. ఏజెంట్ కేవలం ఊహించడం మానేసింది.
మీ ఏజెంట్లు డేటాబేస్లు లేదా APIలను ఉపయోగిస్తుంటే, ఇది అడగండి: అవి పని చేసే ముందు స్ట్రక్చర్ను ధృవీకరించగలవా? లేదా కేవలం విఫలమవ్వడం ద్వారా మాత్రమే నేర్చుకుంటాయా?
రియాక్టివ్ ఎర్రర్ హింట్స్ (Reactive error hints) మంచివే. కానీ అవి సరిపోవు. విఫలమవ్వడం ద్వారా మాత్రమే నేర్చుకునే ఏజెంట్ ఎప్పుడూ హాలూసినేషన్ (hallucination) కి ఒక అడుగు దూరంలోనే ఉంటుంది.
ఏజెంట్లు తప్పులు చేసే ముందు ప్రశ్నలు అడిగేలా టూల్స్ను నిర్మించండి.
Optional learning community: https://t.me/GyaanSetuAi