ఒక క్వోరం వేషధారణ: ఏజెంట్ వెరిఫికేషన్కు ఫాల్ట్ ఇంజెక్షన్ ఎందుకు అవసరం
మీ AI ఏజెంట్ తన స్వంత ఖచ్చితత్వం గురించి మీకు అబద్ధం చెబుతూ ఉండవచ్చు.
నేను ఇటీవల ఒక AI పార్ట్నర్ వరుసగా మూడుసార్లు విఫలం కావడం చూశాను. వివిధ సందర్భాలలో అది ఒకే రకమైన సత్య సమస్యను గుర్తించలేకపోయింది. అది తప్పు శైలిలో (wrong voice) రాసింది. రివ్యూయర్ మోడల్ ప్రతిసారీ అదే తప్పును చదివినప్పటికీ దానికి ఎక్కువ రేటింగ్ ఇచ్చింది. అది ఫ్యాక్ట్ డ్రిఫ్ట్ (fact drift) గురించి ఉన్న వాస్తవాలను కూడా తప్పుగా లెక్కించింది.
నేను ఆ లూప్ వెలుపల ఉండటం వల్ల మాత్రమే ఈ తప్పులను పట్టుకోగలిగాను.
ఇది ఏజెంట్ స్టాక్లో ఉన్న ఒక పెద్ద సమస్యను బయటపెడుతోంది. చాలా వెరిఫికేషన్ సిస్టమ్స్ స్వతంత్రతను (independence) ఊహిస్తాయి. అవి మల్టీ-ఏజెంట్ ఓటింగ్, మేకర్/చెకర్ ప్యాటర్న్స్ లేదా ఎంసెంబుల్ ప్రాంప్ట్లను ఉపయోగిస్తాయి. వేర్వేరు మార్గాలు వేర్వేరు విషయాలను గమనిస్తాయని అవి భావిస్తాయి.
కానీ తరచుగా, ఈ మార్గాలు ఒకే మూలాన్ని (source) పంచుకుంటాయి.
రివ్యూయర్ మరియు రైటర్ ఒకే మూలం నుండి చదివినప్పుడు, మీకు రెండు విభిన్న దృక్పథాలు ఉండవు. మీకు రెండు వేర్వేరు పాత్రల్లో ఉన్న ఒకే దృక్పథం ఉంటుంది. ఇది క్వోరం వేషధారణలో ఉన్న ఒక సింగిల్ పాయింట్ ఆఫ్ ఫెయిల్యూర్ (single point of failure).
ఒకవేళ ఆ మార్గాలు ఒకే అప్స్ట్రీమ్ (upstream) ను పంచుకుంటే, అవి ఒకే తప్పు వాస్తవం లేదా ఒకే హాలూసినేషన్ (hallucination) పై ఏకీభవిస్తాయి. అవుట్పుట్లు వైవిధ్యంగా కనిపిస్తున్నందున సిస్టమ్ ఆరోగ్యంగా ఉన్నట్లు అనిపిస్తుంది, కానీ మూలం అబద్ధం చెప్పిన ప్రతిసారీ అది విఫలమవుతుంది.
దీనిని సరిచేయడానికి, మీరు ఫాల్ట్ ఇంజెక్షన్ (fault injection) ఉపయోగించాలి.
ఏజెంట్లు విభేదిస్తున్నాయా లేదా అని మాత్రమే కొలవకండి. సిస్టమ్లోని ఒక భాగాన్ని పాడు చేయడం ద్వారా మీరు వారిని విభేదించేలా చేయగలరా లేదా అని పరీక్షించండి.
మీ స్టాక్ను ఇలా పరీక్షించవచ్చు:
- ఒక తప్పుడు మెమరీని ఇంజెక్ట్ చేయండి: ఒక రిట్రీవల్ పాత్లో (retrieval path) ఒక నకిలీ వాస్తవాన్ని ఉంచండి. రెండు మార్గాలు కూడా అదే నకిలీ వాస్తవాన్ని అందిస్తే, మీ మార్గాలు ఒకదానితో ఒకటి అనుసంధానించబడి (coupled) ఉన్నాయని అర్థం.
- ఒక రూల్ను మార్చండి: ఆఫ్లైన్లో ఒక రూల్ను మార్చండి. మేకర్ మరియు చెకర్ రెండూ ఎటువంటి తేడాను గుర్తించకుండా కొత్త రూల్ను అనుసరిస్తే, అవి ఒకే క్యాచీని (cache) పంచుకుంటున్నాయని అర్థం.
- తప్పుడు టెలిమెట్రీని ఉంచండి: ఒక నకిలీ మోడల్ IDని లాగ్ చేయండి. చెక్ పాస్ అయితే, వెరిఫైయర్ మరియు రైటర్ ఒకే రికార్డును చదువుతున్నారని అర్థం.
డిస్ట్రిబ్యూటెడ్ సిస్టమ్స్ దీనిని సంవత్సరాల క్రితమే పరిష్కరించాయి. అవి కీయస్ ఇంజనీరింగ్ (chaos engineering) మరియు పార్టిషన్ టెస్ట్లను ఉపయోగిస్తాయి. సిస్టమ్ బాగా నడుస్తుండటం చూసి అవి నమ్మవు. వైఫల్యాన్ని కలిగించడం ద్వారా (inducing failure) అవి నమ్మకాన్ని నిర్ధారిస్తాయి.
ఏజెంట్ ఆర్కిటెక్చర్లు ఈ క్రమశిక్షణను అవలంబించాలి.
స్వతంత్రత అనేది మీరు ఒకసారి ఏర్పాటు చేసుకునే లక్షణం కాదు. అది మీరు నిరంతరం పునఃధృవీకరించవలసిన లక్షణం. ఒకే క్యాచీ లేదా మోడల్ అప్డేట్ రాత్రికి రాత్రే మీ స్వతంత్రతను దెబ్బతీయవచ్చు.
ఏకగ్రీవ ఓట్లను నమ్మడం ఆపండి. ఫాల్ట్లను ఇంజెక్ట్ చేయడం ప్రారంభించండి.
Source: https://dev.to/jugeni/a-quorum-costume-why-agent-verification-needs-fault-injection-kbh
Optional learning community: https://t.me/GyaanSetuAi