در چند سال اخیر، صنعت امنیت از هوش مصنوعی به عنوان یک نیروی چندبرابرکننده برای مدافعان یاد کرده است. داستان از این قرار بود: مدلهای یادگیری ماشین لاگها را بررسی میکنند، ناهنجاریهایی را که تحلیلگران انسانی از قلم انداختهاند شناسایی میکنند و کارهای خستهکننده تشخیص تهدید را انجام میدهند. این داستان تنها نیمی از حقیقت است. نیمه دیگر، طبق آخرین یافتههای Check Point Research، این است که مهاجمان بسیار فراتر از مرحله آزمایش حرکت کردهاند. آنها همین حالا در حال استفاده از هوش مصنوعی برای اجرای حملات زنده هستند. این فناوری دیگر تنها ابزاری برای توسعهدهندگانی نیست که در حال ساخت پشتههای نرمافزاری (application stack) بعدی هستند؛ بلکه به سلاحی فعال در دستان مجرمانی تبدیل شده است که فریبکاری را در مقیاسی که پیش از این ندیده بودیم، خودکارسازی میکنند.
هنگامی که مهاجمان از هوش مصنوعی برای عملیاتهای زنده استفاده میکنند
این گزارش بر یک تغییر تعیینکننده در نحوه سازماندهی کارزارهای بازیگران تهدید تأکید میکند. مهاجمان به جای تکیه بر کدهای ایستا و کنترل و فرمان (command-and-control) دستی، در حال ساخت چارچوبهای بدافزاری پیچیدهای مانند VoidLink هستند. این نوع چارچوبها به یک رویکرد ماژولار اشاره دارند که در آن اجزا میتوانند بهصورت پویا خود را تطبیق داده، بهروزرسانی شوند و با هم ارتباط برقرار کنند. وقتی هوش مصنوعی این سیستمها را هدایت میکند، کارزارهای بدافزاری بسیار غیرقابلپیشبینیتر میشوند. محمولههای مخرب (Payloads) میتوانند رفتار خود را بر اساس محیطی که آلوده میکنند تغییر دهند، که این امر تشخیص مبتنی بر امضا (signature-based detection) را بسیار دشوارتر کرده و نیازمند نظارت رفتاری است که تعداد کمی از سازمانها آن را بهطور کامل پیادهسازی کردهاند.
آنچه نگرانکنندهتر است، بهرهبرداری مستقیم از مدلهای تجاری هوش مصنوعی است. مهاجمان محدود به ابزارهای زیرزمینی ساخته شده در انجمنهای مخفی نیستند. آنها از همان مدلهای زبانی بزرگ و سرویسهای هوش مصنوعی که کسبوکارهای قانونی هر روز استفاده میکنند، سوءاستفاده میکنند. مجرمان با جیلبریک کردن سیستمها، اصلاح مهندسی پرامپت (prompt engineering) یا صرفاً خودکارسازی حجم بالایی از فراخوانیهای API، تنظیمات امنیتی را دور میزنند و ایمیلهای فیشینگ، اسکریپتهای مخرب و طعمههای مهندسی اجتماعی را با سرعت ماشین تولید میکنند. طنز ماجرا تلخ است: زیرساختی که برای کمک به افراد جهت نوشتن کد یا خلاصهسازی اسناد ساخته شده است، اکنون برای نفوذ به همان سازمانهایی که هزینه آن را پرداخت کردهاند، ربوده شده است.
چهار تهدید مبتنی بر هوش مصنوعی که باید شناخت
تحلیل Check Point به چهار مورد سوءاستفاده خاص اشاره دارد که تیمهای امنیتی باید با جزئیات آنها را بشناسند. هر یک از آنها محاسبات مربوط به آنچه یک مهاجم میتواند بدون محدودیتهای مقیاسپذیری انسانی انجام دهد را تغییر میدهد.
حملات فیشینگ خودکار دهههاست که در اشکال اولیه وجود داشتهاند، اما هوش مصنوعی اصطکاکهای باقیمانده را از بین میبرد. مهاجمان میتوانند شبکههای اجتماعی و وبسایتهای شرکتی را برای تولید ایمیلهای بسیار شخصیسازی شده در عرض چند ثانیه استخراج کنند و لحن، زبان و متن را بهگونهای تنظیم کنند که کارزارهای انبوه، مانند پیامهای یکبهیک به نظر برسند. وقتی هر ایمیل فیشینگ هدفمند (spear-phishing) دستساز به نظر میرسد، تشخیص سنتی مبتنی بر دستور زبان ضعیف یا هدرهای ایمیلهای انبوه، به سادگی شکست میخورد.
کیتهای ویشینگ (vishing) مبتنی بر عامل صوتی نشاندهنده تشدیدی هستند که فراتر از دیپفیکهای ضبطشده میرود. این کیتها عاملهای صوتی تعاملی را مستقر میکنند که قادر به انجام مکالمات بلادرنگ با قربانیان هستند. تماسی را تصور کنید که دقیقاً شبیه میز کمک به IT شما به نظر میرسد، بهطور طبیعی به سوالات شما پاسخ میدهد و با فوریت کد احراز هویت چندعاملی شما را درخواست میکند. صدا مصنوعی است، متن در لحظه تولید میشود و قربانی در حال صحبت با نرمافزاری است که هرگز عصبی نمیشود، هرگز در کلامش لکنت نمیگیرد و هرگز از هدف خود منحرف نمیشود.
هویتهای مجازی جعلشده این فریبکاری را از تماسهای تکنفره به شخصیتهای کامل گسترش میدهند. بازیگران تهدید میتوانند پروفایلهای مصنوعی کامل با عکسهای تولیدشده، سوابق شغلی ساختگی و ارتباطات شبکهای مصنوعی ایجاد کنند. این هویتها فقط یک پیام نمیفرستند؛ آنها ممکن است به شبکههای حرفهای بپیوندند، در بحثهای صنعتی شرکت کنند و طی هفتهها یا ماهها اعتماد ایجاد کنند و سپس یک محموله مخرب را ارسال کرده یا اطلاعات حساس را درخواست کنند. کلاهبرداریهای طولانیمدت صنعتی شدهاند.
حملات تزریق پرامپت غیرمستقیم به جای هدف قرار دادن مستقیم کاربر نهایی، معماری خودِ برنامههای هوش مصنوعی را هدف قرار میدهند. یک مهاجم دستورالعملهای مخرب را در داخل یک صفحه وب، یک سند یا یک ایمیل پنهان میکند که یک عامل هوش مصنوعی بعداً آن را پردازش میکند. وقتی یک ابزار دستیار شرکتی آن دادههای مسموم را میخواند، دستورالعملهایی را که مهاجم کاشته است اجرا میکند که پتانسیل نشت اطلاعات محرمانه یا انجام اقدامات غیرمجاز از طرف کاربر را دارد. به نظر میرسد برنامه دچار نقص فنی شده است، اما در واقع صرفاً در حال اجرای دستوراتی است که هرگز نباید آنها را میدید.
جبهه داخلی: هوش مصنوعی غیرمجاز و نشت دادهها
این تهدیدهای خارجی با بحرانی آرامتر که در داخل محیطهای اداری در حال وقوع است، تشدید میشوند. سازمانها اکنون با ریسکهای شدیدی ناشی از استفاده غیرمجاز از هوش مصنوعی روبرو هستند که اغلب shadow AI نامیده میشود؛ وضعیتی که در آن کارکنان برای سرعت بخشیدن به وظایف روزانه خود، کدهای اختصاصی، سوابق مشتریان یا برنامههای استراتژیک را در چتباتهای عمومی وارد میکنند. نتیجه این است که