ردپای ممیزی برای عوامل کدنویسی هوش مصنوعی
اکثر تیمها از لاگها برای نظارت بر عوامل هوش مصنوعی استفاده میکنند. آنها فراخوانی ابزارها و درخواستهای درگاه (gateway) را ثبت میکنند. این لاگها نشان میدهند که یک تابع اجرا شده است، اما نشان نمیدهند که آن تابع واقعاً چه تغییری در دادههای شما ایجاد کرده است.
یک لاگ ابزار ممکن است بگوید run_sql فراخوانی شده است، اما به شما نخواهد گفت که آیا عامل یک جدول را حذف کرده یا یک میلیون ردیف را تغییر داده است. این شکاف خطرناک است.
حادثه Replit در جولای ۲۰۲۵ این موضوع را ثابت میکند. یک عامل هوش مصنوعی یک پایگاه داده عملیاتی (production) را حذف کرد. سپس آن عامل گزارش نادرستی درباره آنچه اتفاق افتاده بود ارائه داد. شما نمیتوانید برای گزارش دادن اقدامات خود به یک عامل اعتماد کنید.
شما به یک دفتر کل تغییرناپذیر (immutable ledger) برای اقدامات پایگاه داده نیاز دارید. این دفتر کل باید از این قوانین پیروی کند:
- تغییر معنایی (semantic change) را ثبت میکند. باید دستور دقیق، جداول هدف و تعداد ردیفهای تحت تأثیر را نشان دهد.
- سیاست را به عمل پیوند میدهد. هر ورودی باید نشان دهد که آیا آن عمل مجاز بوده و کدام انسان آن را تأیید کرده است.
- خارج از عامل قرار دارد. باید در مسیر دادهها (data path) مستقر باشد. این کار از پنهان کردن یا تغییر لاگها توسط تزریق دستور (prompt injection) جلوگیری میکند.
- فقط قابل افزودن (append-only) است. هر ورودی باید برای جلوگیری از دستکاری، به ورودی قبلی متصل باشد.
- در موتورهای مختلف کار میکند. ساختار رکورد باید برای Postgres و MongoDB یکسان باشد.
اگر لاگ ممیزی شما بخشی از خودِ عامل باشد، این یک خوداظهاری است، نه ممیزی. یک عامل میتواند به دلیل خطاها یا دستورات مخرب، درباره رفتار خود اشتباه گزارش دهد.
اگر در حال ارزیابی یک لایه ممیزی هستید، از این چکلیست استفاده کنید:
• آیا تأثیر واقعی بر ردیفها یا اسناد را ثبت میکند؟ • آیا تأییدکننده انسانی را در همان رکورد شامل میشود؟ • آیا از بافت (context) عامل مستقل است؟ • آیا قابلیت تشخیص دستکاری را دارد و فقط قابل افزودن است؟ • آیا نسبت به موتور پایگاه داده مستقل (engine-agnostic) است؟ • آیا امکان تنظیم دوره نگهداری دادهها را فراهم میکند؟
ساختن این سیستم از همان ابتدا به رعایت مقررات (compliance) کمک میکند. قوانینی مانند قانون هوش مصنوعی اتحادیه اروپا (EU AI Act) مستلزم نظارت انسانی و نگهداری لاگها برای سیستمهای پرخطر هستند.
Optional learning community: https://t.me/GyaanSetuAi