ఒక AI ఏజెంట్ తాను ఒక పనిని పూర్తి చేసినట్లు పేర్కొన్నప్పుడు, సందేహించడం అనేది మాత్రమే వివేకవంతమైన స్పందన. “Task completed at 14:32” అని ఉన్న ఒక లాగ్ ఎంట్రీ కేవలం ఒక టెక్స్ట్ స్ట్రింగ్ మాత్రమే. ఆ ఏజెంట్ నిశ్శబ్దంగా క్రాష్ అయి ఉండవచ్చు, ఖాళీ ఫారమ్ను సమర్పించి ఉండవచ్చు, ఖాళీ సెర్చ్ రిజల్ట్స్లో లూప్ అయి ఉండవచ్చు, లేదా మొత్తం వర్క్ఫ్లోను హాలూసినేట్ (hallucinated) చేసి ఉండవచ్చు. మీ ఆర్కిటెక్చర్లో వేర్వేరు మెషీన్లు, క్లౌడ్ రీజియన్లు లేదా IP అడ్రస్లలో నడుస్తున్న బహుళ ఏజెంట్లు ఉంటే, ఈ సమస్య వేగంగా పెరుగుతుంది. ఏజెంట్ A తన పనిని నిరూపించుకోలేకపోతే, ఏజెంట్ B ఆ ఏజెంట్ A నివేదికను నమ్మడానికి ఎటువంటి కారణం లేదు.
ప్రతి నమ్మదగిన వెరిఫికేషన్ సిస్టమ్ మూడు పొరల (layers) మీద నిర్మించబడింది. Evidence అనేది ముడి ఆధారము—అంటే స్క్రీన్షాట్, API రెస్పాన్స్ లేదా HTML డంప్. Attestation అనేది ఆ ఆధారాన్ని ఒక నిర్దిష్ట ఏజెంట్కు మరియు ఒక నిర్దిష్ట టాస్క్ IDకి అనుసంధానించే సంతకం చేయబడిన లేదా క్రిప్టోగ్రాఫిక్ క్లెయిమ్. Verification అనేది కేవలం ఆ ఫైల్ ఉందనే విషయాన్ని మాత్రమే కాకుండా, ఆ ఆధారము నిజంగా అసలు లక్ష్యాన్ని నెరవేరుస్తుందో లేదో నిర్ధారించే ప్రక్రియ. Attestation లేని Evidenceని ఒక పని నుండి మరొక పనికి మళ్ళీ ఉపయోగించవచ్చు (replayed). Verification లేని Attestation డేటా నిజమైనదని చెబుతుంది కానీ, మీరు అడిగిన ప్రశ్నకు అది సమాధానం ఇస్తుందో లేదో చెప్పదు.
విజువల్ ప్రూఫ్: స్క్రీన్షాట్లు మరియు OCR
ఒక ఏజెంట్ బ్రౌజర్ను నడిపించినప్పుడు లేదా గ్రాఫికల్ ఇంటర్ఫేస్తో ఇంటరాక్ట్ అయినప్పుడు, అత్యంత సరళమైన నిరూపణ ఒక చిత్రం. పని పూర్తయిన తర్వాత ఏజెంట్ ఒక ఫుల్-పేజీ స్క్రీన్షాట్ను తీసి, కనిపించే టెక్స్ట్ను సంగ్రహించడానికి OCRని రన్ చేసి, ఆ ఇమేజ్ మరియు సంగ్రహించిన స్ట్రింగ్స్ రెండింటినీ ఆధారంగా సమర్పిస్తుంది.
ఈ పద్ధతి సోషల్ మీడియా పోస్ట్లు, ఫారమ్ సబ్మిషన్లు లేదా చెకౌట్ ఫ్లోలకు సరిపోతుంది. ఒక కంపెనీ LinkedIn పేజీలో వారపు అప్డేట్ను పోస్ట్ చేసే బాధ్యత ఉన్న ఏజెంట్ను ఊహించుకోండి. స్క్రీన్షాట్ సర్వర్-రెండర్డ్ టైమ్స్టాంప్ మరియు URLలో ఎంబెడ్ చేయబడిన పోస్ట్ IDతో కూడిన లైవ్ పోస్ట్ను చూపుతుంది. ఆ ప్లాట్ఫారమ్-నిర్దిష్ట మార్కర్లతో పాటు పేజీలో ఖచ్చితమైన హెడ్లైన్ మరియు బాడీ టెక్స్ట్ కనిపిస్తున్నాయని OCR నిర్ధారించగలదు.
ఇందులో రిస్క్ స్పష్టంగా ఉంది: స్క్రీన్షాట్లను నకిలీ చేయవచ్చు. హ్యాక్ చేయబడిన ఏజెంట్ లోకల్గా ఒక నకిలీ వెబ్పేజీని రెండర్ చేసి, దాని స్క్రీన్షాట్ తీసి, పని విజయవంతమైందని ప్రకటించవచ్చు. దీనిని అరికట్టడానికి, ఊహించడం కష్టమైన డైనమిక్ టెక్స్ట్ మార్కర్లను తప్పనిసరి చేయండి. ప్లాట్ఫారమ్ జారీ చేసిన కన్ఫర్మేషన్ ID, సర్వర్ నుండి వచ్చే టైమ్స్టాంప్, లేదా వెరిఫైయర్ జాబ్ ఇన్స్ట్రక్షన్స్కు జోడించే ఒక యూనిక్ nonce వంటివి ఆంకర్లుగా పనిచేయగలవు. ఒకవేళ OCR అవుట్పుట్లో ఆ నిర్దిష్ట టాస్క్కు సంబంధించిన కన్ఫర్మేషన్ ID లేకపోతే, ఆ నిరూపణ విఫలమవుతుంది.
అయితే, స్క్రీన్షాట్లు భారీగా ఉంటాయి. అవి బ్యాండ్విడ్త్ మరియు స్టోరేజీని వినియోగిస్తాయి, మరియు ప్లాట్ఫారమ్లు తమ లేఅవుట్లను రీడిజైన్ చేసినప్పుడు అవి పని చేయవు. UI మాత్రమే అందుబాటులో ఉన్నప్పుడు వాటిని ఉపయోగించండి, కానీ వాటిని ఒక బేస్లైన్గా మాత్రమే పరిగణించండి, ఒక కోటలా (fortress) కాదు.
సైన్ చేసిన API రసీదులు (Signed API Receipts)
ఏజెంట్ బ్యాకెండ్ API ద్వారా పనిచేస్తున్నప్పుడు, ఇమేజ్ను వదిలేయండి. సైన్ చేసిన రసీదును అడగండి.
ఆటోమేటెడ్ పోస్ట్ లేదా డేటా స్కేప్ తర్వాత, ప్లాట్ఫారమ్ సాధారణంగా ఒక స్ట్రక్చర్డ్ పేలోడ్ను తిరిగి ఇస్తుంది. ఆ JSONలో ఒక ID, టైమ్స్టాంప్, స్టేటస్ ఫీల్డ్లు మరియు కొన్నిసార్లు రేట్-లిమిట్ హెడర్లు ఉంటాయి. ఏజెంట్ ఈ మొత్తం పేలోడ్ను ఒక ప్రైవేట్ కీతో సైన్ చేస్తుంది, సైన్ చేసిన బ్లాబ్ (blob) లోపల టాస్క్ IDని చేర్చి, ఆ బండిల్ను సమర్పిస్తుంది. వెరిఫైయర్ ఏజెంట్ యొక్క పబ్లిక్ కీతో సంతకాన్ని సరిచూస్తుంది మరియు ఆ చర్య విజయవంతమైందని నిర్ధారించడానికి రసీదును తనిఖీ చేస్తుంది.
ఇక్కడ బలహీనమైన అంశం కీ కస్టడీ (key custody). ఏజెంట్ నడుస్తున్న మెషీన్లోనే దాని స్వంత ప్రైవేట్ కీని ఉంచితే, ప్రాంప్ట్ ఇంజెక్షన్, మాల్వేర్ లేదా కంటైనర్ ఎస్కేప్ ద్వారా దానిని దొంగిలించి, అసలు జరగని పనుల కోసం నకిలీ రసీదులను సృష్టించే అవకాశం ఉంది. ఏజెంట్ ఎన్విరాన్మెంట్లో ఎక్కువ కాలం ఉండే కీలను ఉంచకండి. దానికి బదులుగా, తక్కువ కాలం ఉండే, టాస్క్-స్కోప్డ్ క్రెడెన్షియల్స్ను జారీ చేసే కీ మేనేజ్మెంట్ సిస్టమ్ను ఉపయోగించండి. ప్రతి టాస్క్ కోసం కీలను మారుస్తూ (rotate) ఉండండి. ఒకవేళ ఏజెంట్ ఐదు నిమిషాల విరామం కోసం సెక్యూర్ ఎన్క్లేవ్ లేదా KMS నుండి సైనింగ్ కీని అడగాల్సి వస్తే, ఏదైనా సమస్య తలెత్తినప్పుడు దాని ప్రభావం (blast radius) తక్కువగా ఉంటుంది.
ఈ పద్ధతి అధిక పరిమాణంలో జరిగే హెడ్లెస్ ఆటోమేషన్ (headless automation) కోసం బాగా పనిచేస్తుంది: అంటే యాడ్ స్పెండ్ రిపోర్ట్లను సింక్ చేయడం, సోషల్ మీడియా APIల ద్వారా పోస్ట్ చేయడం లేదా స్ట్రక్చర్డ్ JSONని ఇచ్చే ఎండ్పాయింట్లను స్కేప్ చేయడం వంటివి. ఇది స్క్రీన్షాట్ల కంటే తేలికైనది మరియు ప్రోగ్రామాటిక్గా వెరిఫై చేయడం చాలా సులభం.
నిరంతర పని కోసం ప్రూఫ్ చైన్స్ (Proof Chains for Continuous Work)
కొన్ని పనులు ఒకే ఒక...