من به یک پلاگین تصادفی هوش مصنوعی اعتماد کردم
محققان Cisco در اوایل سال ۲۰۲۶ یک نقص امنیتی بزرگ پیدا کردند. یک پلاگین در بازار OpenClaw معمولی به نظر میرسید. همانطور که وعده داده شده بود عمل میکرد، اما در عین حال، بهطور مخفیانه دادههای حساس را نیز سرقت میکرد. این پلاگین دادههای شما را بدون اجازه به یک سرور خارجی میفرستاد.
یکی از توسعهدهندگان OpenClaw گفت اگر خط فرمان (command line) را درک نمیکنید، این ابزار برای شما بسیار خطرناک است.
سه ماه بعد، دولت چین استفاده از OpenClaw را برای آژانسهای دولتی ممنوع کرد. آنها به نشت دادهها و مشکلات مربوط به منابع استناد کردند.
خطر واقعی در سال ۲۰۲۶، نوشتن کد بد توسط هوش مصنوعی نیست. شما میتوانید کدهای بد را با بازبینی (review) اصلاح کنید. خطر واقعی، عاملهای خودمختار (autonomous agents) هستند. این عاملها به فایلها دسترسی دارند و بر خط لولههای (pipelines) شما کنترل دارند. آنها ساعت ۲ صبح، زمانی که شما خواب هستید، تصمیم میگیرند.
دادهها نشاندهنده یک مشکل رو به رشد هستند: • ۴۵٪ از استقرار کدهای تولید شده توسط هوش مصنوعی باعث بروز مشکل شدند. • ۴۸٪ از شرکتها گزارش میدهند که ریسکهای امنیتی بالاتری ناشی از کدنویسی با هوش مصنوعی وجود دارد. • این اعداد مربوط به تیمهایی است که در آنها انسانها هنوز کارها را بازبینی میکنند.
قبل از اینکه به یک عامل اجازه فعالیت بدهید، باید این قوانین را رعایت کنید:
از خودمختاری محتاطانه استفاده کنید. با کمترین سطح دسترسی ممکن شروع کنید. تنها پس از مشاهده رفتار پایدار، دسترسیهای بیشتری اضافه کنید.
ثبت گزارشهای بازرسی (audit logs) را الزامی کنید. هر اقدام عامل نیاز به ثبت شدن دارد. شما برای بررسی علت شکستها در هنگام بروز مشکل، به این گزارشها نیاز دارید.
طراحی را با قابلیت بازگشتپذیری انجام دهید. از Git commits در نقاط بازرسی (checkpoints) استفاده کنید. شما باید بتوانید هر تغییری را که یک عامل ایجاد میکند، لغو کنید.
مهارتهای شخص ثالث را به دقت بررسی کنید. یک بسته (package) بد به یک اپلیکیشن آسیب میزند. یک مهارت بد در یک عامل، به کل سیستم شما آسیب میرساند.
مسئولیتپذیری را حفظ کنید. اگر یک عامل یک pull request باز کند، مسئولیت آن درخواست با شماست. اگر یک عامل کد را commit کند، مسئولیت آن کد با شماست.
فردا درباره ابزاری صحبت خواهم کرد که دیدگاه من را نسبت به تولید کد تغییر داد و همچنین درباره عاملهای هوش مصنوعی که باید در سال ۲۰۲۶ بشناسید.