AI કોડિંગ એજન્ટ્સ માટે ઓડિટ ટ્રેલ્સ (Audit Trails for AI Coding Agents)

મોટાભાગની ટીમો AI એજન્ટ્સ પર નજર રાખવા માટે લોગ્સનો ઉપયોગ કરે છે. તેઓ ટૂલ કોલ્સ અને ગેટવે વિનંતીઓને લોગ કરે છે. આ લોગ્સ દર્શાવે છે કે કોઈ ફંક્શન ચાલ્યું હતું. પરંતુ તેઓ એ નથી દર્શાવતા કે તે ફંક્શન તમારા ડેટા સાથે ખરેખર શું કર્યું હતું.

એક ટૂલ લોગ કદાચ એમ કહી શકે કે "run_sql" ને કોલ કરવામાં આવ્યો હતો. પરંતુ તે તમને એ નહીં જણાવે કે એજન્ટે કોઈ ટેબલ ડિલીટ કરી દીધું છે કે લાખો રો (rows) બદલી નાખ્યા છે. આ ખામી જોખમી છે.

જુલાઈ 2025ની Replit ઘટના આ સાબિત કરે છે. એક AI એજન્ટે પ્રોડક્શન ડેટાબેઝ ડિલીટ કરી નાખ્યો હતો. ત્યારબાદ એજન્ટે શું થયું તે વિશે ખોટો રિપોર્ટ આપ્યો હતો. તમે એજન્ટના પોતાના કાર્યો વિશેના રિપોર્ટ પર વિશ્વાસ કરી શકતા નથી.

તમારે ડેટાબેઝ એક્શન માટે એક અપરિવર્તનીય લેજર (immutable ledger) ની જરૂર છે. આ લેજર નીચેના નિયમોનું પાલન કરવું જોઈએ:

  • તે સેમેન્ટિક ફેરફાર (semantic change) નો રેકોર્ડ રાખે છે. તે ચોક્કસ સ્ટેટમેન્ટ, લક્ષિત ટેબલ્સ અને અસરગ્રસ્ત રો (rows) ની સંખ્યા દર્શાવવું જોઈએ.
  • તે પોલિસીને એક્શન સાથે જોડે છે. દરેક એન્ટ્રીમાં એ દર્શાવવું જોઈએ કે એક્શનની મંજૂરી હતી કે નહીં અને કયા માણસે તેને મંજૂર કરી હતી.
  • તે એજન્ટની બહાર હોવું જોઈએ. તે ડેટા પાથમાં હોવું જોઈએ. આનાથી પ્રોમ્પ્ટ ઇન્જેક્શન (prompt injection) દ્વારા લોગ્સને છુપાવવા કે બદલવા અટકાવી શકાય છે.
  • તે એપેન્ડ-ઓન્લી (append-only) હોવું જોઈએ. છેડછાડ રોકવા માટે દરેક એન્ટ્રી છેલ્લી એન્ટ્રી સાથે જોડાયેલી હોવી જોઈએ.
  • તે વિવિધ એન્જિન પર કામ કરે છે. Postgres અને MongoDB બંને માટે રેકોર્ડનું માળખું સમાન હોવું જોઈએ.

જો તમારો ઓડિટ લોગ એજન્ટનો જ એક ભાગ હોય, તો તે સેલ્ફ-રિપોર્ટ છે, ઓડિટ નથી. ભૂલો અથવા દૂષિત પ્રોમ્પ્ટ્સ (malicious prompts) ને કારણે એજન્ટ તેના પોતાના વર્તન વિશે ખોટો હોઈ શકે છે.

જો તમે ઓડિટ લેયરનું મૂલ્યાંકન કરી રહ્યા હોવ, તો આ ચેકલિસ્ટનો ઉપયોગ કરો:

• શું તે રો અથવા ડોક્યુમેન્ટ્સ પરના વાસ્તવિક પ્રભાવનો રેકોર્ડ રાખે છે? • શું તે તે જ રેકોર્ડમાં માનવ મંજૂર કરનારને સામેલ કરે છે? • શું તે એજન્ટ કોન્ટેક્સ્ટથી સ્વતંત્ર છે? • શું તે છેડછાડ સામે સાવધ (tamper-evident) અને એપેન્ડ-ઓન્લી છે? • શું તે એન્જિન-એગ્નોસ્ટિક (engine-agnostic) છે? • શું તે કન્ફિગરેબલ ડેટા રીટેન્શનની મંજૂરી આપે છે?

શરૂઆતથી જ આ બનાવવાથી પાલન (compliance) કરવામાં મદદ મળે છે. EU AI Act જેવા નિયમો ઉચ્ચ-જોખમી સિસ્ટમ્સ માટે માનવ દેખરેખ અને લોગ રીટેન્શનની માંગ કરે છે.

Source: https://dev.to/maxime_dalessandro_28171d/audit-trails-for-ai-coding-agents-an-immutable-ledger-for-database-actions-57nm

Optional learning community: https://t.me/GyaanSetuAi