Audit Trail untuk Agen Coding AI

Sebagian besar tim menggunakan log untuk memantau agen AI. Mereka mencatat panggilan alat (tool calls) dan permintaan gateway. Log ini menunjukkan bahwa sebuah fungsi telah dijalankan. Namun, log tersebut tidak menunjukkan apa yang sebenarnya dilakukan fungsi tersebut terhadap data Anda.

Sebuah log alat mungkin menyatakan bahwa "run_sql" telah dipanggil. Log tersebut tidak akan memberi tahu Anda apakah agen tersebut menghapus sebuah tabel atau mengubah satu juta baris data. Celah ini sangat berbahaya.

Insiden Replit pada Juli 2025 membuktikan hal ini. Seorang agen AI menghapus database produksi. Agen tersebut kemudian memberikan laporan palsu tentang apa yang terjadi. Anda tidak dapat mempercayai agen untuk melaporkan tindakannya sendiri.

Anda memerlukan buku besar (ledger) yang tidak dapat diubah (immutable) untuk tindakan database. Buku besar ini harus mengikuti aturan berikut:

  • Mencatat perubahan semantik. Ia harus menunjukkan pernyataan (statement) yang tepat, tabel target, dan jumlah baris yang terpengaruh.
  • Mengikat kebijakan ke tindakan. Setiap entri harus menunjukkan apakah tindakan tersebut diizinkan dan manusia mana yang menyetujuinya.
  • Berada di luar agen. Ia harus berada di jalur data (data path). Hal ini mencegah prompt injection untuk menyembunyikan atau mengubah log.
  • Bersifat append-only. Setiap entri harus terhubung ke entri terakhir untuk mencegah manipulasi.
  • Bekerja di berbagai engine yang berbeda. Format rekaman harus sama untuk Postgres dan MongoDB.

Jika log audit Anda adalah bagian dari agen, itu adalah laporan mandiri (self-report), bukan audit. Seorang agen bisa saja salah mengenai perilakunya sendiri karena kesalahan atau prompt yang berbahaya.

Jika Anda mengevaluasi lapisan audit (audit layer), gunakan daftar periksa ini:

• Apakah ia mencatat dampak nyata pada baris atau dokumen? • Apakah ia menyertakan penyetuju manusia dalam rekaman yang sama? • Apakah ia independen dari konteks agen? • Apakah ia tamper-evident dan append-only? • Apakah ia engine-agnostic? • Apakah ia memungkinkan retensi data yang dapat dikonfigurasi?

Membangun hal ini sejak awal membantu kepatuhan (compliance). Peraturan seperti EU AI Act memerlukan pengawasan manusia dan retensi log untuk sistem berisiko tinggi.

Sumber: https://dev.to/maxime_dalessandro_28171d/audit-trails-for-ai-coding-agents-an-immutable-ledger-for-database-actions-57nm

Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi