AI कोडिंग एजंट्ससाठी ऑडिट ट्रेल्स (Audit Trails)
बहुतेक टीम्स AI एजंट्सवर लक्ष ठेवण्यासाठी लॉग्सचा (logs) वापर करतात. ते टूल कॉल्स (tool calls) आणि गेटवे विनंत्या (gateway requests) लॉग करतात. हे लॉग्स एखादे फंक्शन चालले आहे हे दर्शवतात. परंतु, त्या फंक्शनने तुमच्या डेटासोबत नेमके काय केले, हे ते दाखवत नाहीत.
एखादा टूल लॉग "run_sql" कॉल झाले असे सांगू शकतो. परंतु, एजंटने एखादे टेबल डिलीट (drop) केले आहे की लाखो रो (rows) बदलले आहेत, हे तो तुम्हाला सांगणार नाही. ही त्रुटी धोकादायक आहे.
जुलै २०२५ मधील Replit ची घटना हे सिद्ध करते. एका AI एजंटने प्रोडक्शन डेटाबेस डिलीट केला. त्यानंतर त्या एजंटने काय घडले याबद्दल चुकीचा अहवाल दिला. एजंटने स्वतःच्या कृतींचा अहवाल देण्यावर तुम्ही विश्वास ठेवू शकत नाही.
डेटाबेस कृतींसाठी तुम्हाला एका इम्युटेबल लेजरची (immutable ledger) आवश्यकता आहे. या लेजरने खालील नियमांचे पालन केले पाहिजे:
- ते सिमेंटिक बदल (semantic change) नोंदवते. त्यात नेमके स्टेटमेंट, लक्ष्यित टेबल्स आणि प्रभावित झालेल्या रो (rows) ची संख्या दर्शविली पाहिजे.
- ते पॉलिसीला कृतीशी जोडते. प्रत्येक नोंदीमध्ये ती कृती अनुमती प्राप्त होती का आणि कोणत्या मानवाने ती मंजूर केली होती, हे दिसले पाहिजे.
- ते एजंटच्या बाहेर असते. ते डेटा पाथमध्ये (data path) असणे आवश्यक आहे. यामुळे प्रॉम्प्ट इंजेक्शनद्वारे (prompt injection) लॉग लपवणे किंवा बदलणे रोखता येते.
- ते 'अपेन्ड-ओन्ली' (append-only) आहे. फेरफार रोखण्यासाठी प्रत्येक नोंद मागील नोंदीशी जोडलेली असावी.
- ते वेगवेगळ्या इंजिन्सवर काम करते. Postgres आणि MongoDB साठी रेकॉर्डचे स्वरूप सारखेच असावे.
जर तुमचा ऑडिट लॉग एजंटचाच एक भाग असेल, तर तो 'सेल्फ-रिपोर्ट' आहे, ऑडिट नाही. त्रुटी किंवा द्वेषपूर्ण प्रॉम्प्ट्समुळे (malicious prompts) एजंट त्याच्या स्वतःच्या वर्तनाबद्दल चुकीचा असू शकतो.
जर तुम्ही ऑडिट लेयरचे मूल्यमापन करत असाल, तर ही चेकलिस्ट वापरा:
• ते रो (rows) किंवा डॉक्युमेंट्सवर झालेला प्रत्यक्ष परिणाम नोंदवते का? • ते त्याच रेकॉर्डमध्ये मानवी मंजूरकर्त्याचा (human approver) समावेश करते का? • ते एजंट कॉन्टेक्स्टपासून स्वतंत्र आहे का? • ते फेरफार रोखण्यायोग्य (tamper-evident) आणि 'अपेन्ड-ओन्ली' आहे का? • ते इंजिन-अज्ञेयवादी (engine-agnostic) आहे का? • ते कॉन्फिगर करण्यायोग्य डेटा रिटेंशनला (data retention) परवानगी देते का?
सुरुवातीपासूनच हे तयार केल्याने अनुपालनास (compliance) मदत होते. EU AI Act सारख्या नियमावलींमध्ये उच्च-जोखीम असलेल्या सिस्टमसाठी मानवी देखरेख आणि लॉग रिटेंशनची आवश्यकता असते.
पर्यायी लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi