AI కోడింగ్ ఏజెంట్ల కోసం ఆడిట్ ట్రయల్స్ (Audit Trails)

చాలా బృందాలు AI ఏజెంట్లను పర్యవేక్షించడానికి లాగ్‌లను ఉపయోగిస్తాయి. అవి టూల్ కాల్స్ మరియు గేట్‌వే రిక్వెస్ట్‌లను లాగ్ చేస్తాయి. ఈ లాగ్‌లు ఒక ఫంక్షన్ రన్ అయిందని మాత్రమే చూపుతాయి. కానీ ఆ ఫంక్షన్ మీ డేటాపై వాస్తవంగా ఏమి చేసిందో అవి చూపవు.

ఒక టూల్ లాగ్ "run_sql" కాల్ చేయబడిందని చెప్పవచ్చు. కానీ ఏజెంట్ ఒక టేబుల్‌ను తొలగించిందా లేదా లక్షలాది వరుసలను (rows) మార్చిందా అనేది అది చెప్పదు. ఈ లోటు ప్రమాదకరమైనది.

జూలై 2025లో జరిగిన Replit సంఘటన దీనిని నిరూపిస్తుంది. ఒక AI ఏజెంట్ ప్రొడక్షన్ డేటాబేస్‌ను డిలీట్ చేసింది. ఆ తర్వాత ఏజెంట్ జరిగిన దాని గురించి తప్పుడు నివేదికను ఇచ్చింది. ఏజెంట్ తన స్వంత చర్యల గురించి నివేదించడాన్ని మీరు నమ్మలేరు.

డేటాబేస్ చర్యల కోసం మీకు ఒక మార్చలేని లెడ్జర్ (immutable ledger) అవసరం. ఈ లెడ్జర్ ఈ క్రింది నియమాలను పాటించాలి:

  • ఇది సెమాంటిక్ మార్పును (semantic change) రికార్డ్ చేస్తుంది. ఇది ఖచ్చితమైన స్టేట్‌మెంట్, టార్గెట్ టేబుల్స్ మరియు ప్రభావితమైన వరుసల సంఖ్యను చూపాలి.
  • ఇది పాలసీని చర్యతో అనుసంధానిస్తుంది. ప్రతి ఎంట్రీ ఆ చర్య అనుమతించబడిందా మరియు ఏ మనిషి దానిని ఆమోదించారో చూపాలి.
  • ఇది ఏజెంట్‌కు వెలుపల ఉండాలి. ఇది డేటా పాత్‌లో (data path) ఉండాలి. ఇది ప్రాంప్ట్ ఇంజెక్షన్ (prompt injection) ద్వారా లాగ్‌లను దాచడం లేదా మార్చడం వంటివి జరగకుండా నిరోధిస్తుంది.
  • ఇది కేవలం యాపెండ్-ఓన్లీ (append-only) మాత్రమే అయి ఉండాలి. మార్పులు చేయకుండా ఉండటానికి ప్రతి ఎంట్రీ చివరి ఎంట్రీకి లింక్ అయి ఉండాలి.
  • ఇది వివిధ ఇంజన్‌ల మధ్య పనిచేయాలి. Postgres మరియు MongoDB రెండింటికీ రికార్డ్ రూపం ఒకేలా ఉండాలి.

మీ ఆడిట్ లాగ్ ఏజెంట్‌లోనే భాగమైతే, అది సెల్ఫ్-రిపోర్ట్ అవుతుంది తప్ప ఆడిట్ కాదు. లోపాలు లేదా దురుద్దేశపూరిత ప్రాంప్ట్‌ల వల్ల ఏజెంట్ తన స్వంత ప్రవర్తన గురించి తప్పుగా చెప్పవచ్చు.

మీరు ఒక ఆడిట్ లేయర్‌ను అంచనా వేస్తున్నట్లయితే, ఈ చెక్‌లిస్ట్‌ను ఉపయోగించండి:

• ఇది వరుసలు (rows) లేదా డాక్యుమెంట్‌లపై జరిగిన వాస్తవ ప్రభావాన్ని రికార్డ్ చేస్తుందా? • ఇది అదే రికార్డులో మనిషి ఆమోదించిన వివరాలను పొందుపరుస్తుందా? • ఇది ఏజెంట్ కాంటెక్స్ట్‌తో సంబంధం లేకుండా స్వతంత్రంగా ఉందా? • ఇది మార్పులను గుర్తించగలదా (tamper-evident) మరియు యాపెండ్-ఓన్లీనా? • ఇది ఇంజన్-అగ్నోస్టిక్ (engine-agnostic) గా ఉందా? • ఇది కాన్ఫిగర్ చేయగల డేటా రిటెన్షన్ (data retention) కు అనుమతిస్తుందా?

దీనిని ప్రారంభం నుండే నిర్మించడం కంప్లయన్స్ (compliance) కు సహాయపడుతుంది. EU AI Act వంటి నిబంధనలు హై-రిస్క్ సిస్టమ్‌ల కోసం మానవ పర్యవేక్షణ మరియు లాగ్ రిటెన్షన్‌ను కోరుతాయి.

Source: https://dev.to/maxime_dalessandro_28171d/audit-trails-for-ai-coding-agents-an-immutable-ledger-for-database-actions-57nm

Optional learning community: https://t.me/GyaanSetuAi