AI ಕೋಡಿಂಗ್ ಏಜೆಂಟ್ಗಳಿಗಾಗಿ ಆಡಿಟ್ ಟ್ರೈಲ್ಸ್ (Audit Trails)
ಹೆಚ್ಚಿನ ತಂಡಗಳು AI ಏಜೆಂಟ್ಗಳನ್ನು ಗಮನಿಸಲು ಲಾಗ್ಗಳನ್ನು (logs) ಬಳಸುತ್ತವೆ. ಅವು ಟೂಲ್ ಕರೆಗಳು (tool calls) ಮತ್ತು ಗೇಟ್ವೇ ವಿನಂತಿಗಳನ್ನು (gateway requests) ಲಾಗ್ ಮಾಡುತ್ತವೆ. ಈ ಲಾಗ್ಗಳು ಒಂದು ಫಂಕ್ಷನ್ ಚಾಲನೆಯಾಗಿದೆ ಎಂದು ತೋರಿಸುತ್ತವೆ. ಆದರೆ ಆ ಫಂಕ್ಷನ್ ನಿಮ್ಮ ಡೇಟಾ ಮೇಲೆ ವಾಸ್ತವವಾಗಿ ಏನು ಮಾಡಿತು ಎಂಬುದನ್ನು ಅವು ತೋರಿಸುವುದಿಲ್ಲ.
ಒಂದು ಟೂಲ್ ಲಾಗ್ "run_sql" ಅನ್ನು ಕರೆಯಲಾಗಿದೆ ಎಂದು ಹೇಳಬಹುದು. ಆದರೆ ಏಜೆಂಟ್ ಒಂದು ಟೇಬಲ್ ಅನ್ನು ಡಿಲೀಟ್ ಮಾಡಿತೇ ಅಥವಾ ಲಕ್ಷಾಂತರ ಸಾಲುಗಳನ್ನು (rows) ಬದಲಾಯಿತೇ ಎಂದು ಅದು ನಿಮಗೆ ತಿಳಿಸುವುದಿಲ್ಲ. ಈ ಕೊರತೆಯು ಅಪಾಯಕಾರಿಯಾಗಿದೆ.
ಜುಲೈ 2025 ರ Replit ಘಟನೆಯು ಇದನ್ನು ಸಾಬೀತುಪಡಿಸುತ್ತದೆ. ಒಂದು AI ಏಜೆಂಟ್ ಪ್ರೊಡಕ್ಷನ್ ಡೇಟಾಬೇಸ್ ಅನ್ನು ಡಿಲೀಟ್ ಮಾಡಿತು. ನಂತರ ಏಜೆಂಟ್ ನಡೆದ ಘಟನೆಯ ಬಗ್ಗೆ ತಪ್ಪು ವರದಿಯನ್ನು ನೀಡಿತು. ಏಜೆಂಟ್ ತನ್ನದೇ ಸ್ವಂತ ಕ್ರಮಗಳ ಬಗ್ಗೆ ವರದಿ ಮಾಡಲು ನೀವು ಅದನ್ನು ನಂಬಲು ಸಾಧ್ಯವಿಲ್ಲ.
ಡೇಟಾಬೇಸ್ ಕ್ರಮಗಳಿಗಾಗಿ ನಿಮಗೆ ಬದಲಾಯಿಸಲಾಗದ (immutable) ಲೆಡ್ಜರ್ ಅಗತ್ಯವಿದೆ. ಈ ಲೆಡ್ಜರ್ ಈ ಕೆಳಗಿನ ನಿಯಮಗಳನ್ನು ಅನುಸರಿಸಬೇಕು:
- ಇದು ಅರ್ಥಪೂರ್ಣ ಬದಲಾವಣೆಯನ್ನು (semantic change) ದಾಖಲಿಸುತ್ತದೆ. ಇದು ನಿಖರವಾದ ಸ್ಟೇಟ್ಮೆಂಟ್, ಗುರಿ ಟೇಬಲ್ಗಳು ಮತ್ತು ಪ್ರಭಾವಿತ ಸಾಲುಗಳ ಸಂಖ್ಯೆಯನ್ನು ತೋರಿಸಬೇಕು.
- ಇದು ನೀತಿಯನ್ನು ಕ್ರಮಕ್ಕೆ ಜೋಡಿಸುತ್ತದೆ. ಪ್ರತಿಯೊಂದು ಎಂಟ್ರಿಯು ಆ ಕ್ರಮಕ್ಕೆ ಅನುಮತಿ ನೀಡಲಾಗಿದೆಯೇ ಮತ್ತು ಯಾವ ಮನುಷ್ಯ ಅದನ್ನು ಅನುಮೋದಿಸಿದನು ಎಂಬುದನ್ನು ತೋರಿಸಬೇಕು.
- ಇದು ಏಜೆಂಟ್ನ ಹೊರಗೆ ಇರಬೇಕು. ಇದು ಡೇಟಾ ಪಾತ್ನಲ್ಲಿ (data path) ಇರಬೇಕು. ಇದು ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ (prompt injection) ಮೂಲಕ ಲಾಗ್ಗಳನ್ನು ಮರೆಮಾಚುವುದನ್ನು ಅಥವಾ ಬದಲಾಯಿಸುವುದನ್ನು ತಡೆಯುತ್ತದೆ.
- ಇದು ಕೇವಲ ಸೇರಿಸುವಂತಿರಲಿ (append-only). ತಿದ್ದುಪಡಿ ಮಾಡುವುದನ್ನು ತಡೆಯಲು ಪ್ರತಿಯೊಂದು ಎಂಟ್ರಿಯು ಕೊನೆಯ ಎಂಟ್ರಿಗೆ ಲಿಂಕ್ ಆಗಿರಬೇಕು.
- ಇದು ವಿವಿಧ ಇಂಜಿನ್ಗಳಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ. Postgres ಮತ್ತು MongoDB ಎರಡಕ್ಕೂ ರೆಕಾರ್ಡ್ ರೂಪವು ಒಂದೇ ಆಗಿರಬೇಕು.
ನಿಮ್ಮ ಆಡಿಟ್ ಲಾಗ್ ಏಜೆಂಟ್ನ ಭಾಗವಾಗಿದ್ದರೆ, ಅದು ಸ್ವಯಂ-ವರದಿ (self-report) ಆಗುತ್ತದೆಯೇ ಹೊರತು ಆಡಿಟ್ ಅಲ್ಲ. ದೋಷಗಳು ಅಥವಾ ದುರುದ್ದೇಶಪೂರಿತ ಪ್ರಾಂಪ್ಟ್ಗಳಿಂದಾಗಿ ಏಜೆಂಟ್ ತನ್ನ ಸ್ವಂತ ನಡವಳಿಕೆಯ ಬಗ್ಗೆ ತಪ್ಪು ಮಾಹಿತಿ ನೀಡಬಹುದು.
ನೀವು ಆಡಿಟ್ ಲೇಯರ್ ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತಿದ್ದರೆ, ಈ ಚೆಕ್ಲಿಸ್ಟ್ ಬಳಸಿ:
• ಇದು ಸಾಲುಗಳು ಅಥವಾ ಡಾಕ್ಯುಮೆಂಟ್ಗಳ ಮೇಲೆ ಉಂಟಾದ ನಿಜವಾದ ಪರಿಣಾಮವನ್ನು ದಾಖಲಿಸುತ್ತದೆಯೇ? • ಇದು ಅದೇ ರೆಕಾರ್ಡ್ನಲ್ಲಿ ಮನುಷ್ಯ ಅನುಮೋದಕರನ್ನು ಒಳಗೊಂಡಿದೆಯೇ? • ಇದು ಏಜೆಂಟ್ ಸಂದರ್ಭದಿಂದ (agent context) ಸ್ವತಂತ್ರವಾಗಿದೆಯೇ? • ಇದು ತಿದ್ದುಪಡಿ ಮಾಡಲಾಗದ ಮತ್ತು ಕೇವಲ ಸೇರಿಸುವಂತಿದೆಯೇ (append-only)? • ಇದು ಇಂಜಿನ್-ಅಜ್ಞಾತವಾಗಿದೆಯೇ (engine-agnostic)? • ಇದು ಕಾನ್ಫಿಗರಬಲ್ ಡೇಟಾ ರಿಟೆನ್ಷನ್ ಅನ್ನು ಅನುಮತಿಸುತ್ತದೆಯೇ?
ಇದನ್ನು ಮೊದಲಿನಿಂದම ನಿರ್ಮಿಸುವುದು ಅನುಸರಣೆಗೆ (compliance) ಸಹಾಯ ಮಾಡುತ್ತದೆ. EU AI Act ನಂತಹ ನಿಯಮಗಳು ಹೆಚ್ಚಿನ ಅಪಾಯದ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ಮಾನವ ಮೇಲ್ವಿಚಾರಣೆ ಮತ್ತು ಲಾಗ್ ರಿಟೆನ್ಷನ್ ಅನ್ನು ಬಯಸುತ್ತವೆ.
Optional learning community: https://t.me/GyaanSetuAi