בשנים האחרונות, תעשיית האבטחה מדברת על בינה מלאכותית כמכפיל כוח עבור המגנים. הסיפור הלך כך: מודלים של למידת מכונה יסרקו לוגים, יזהו חריגות שמנתחים אנושיים פספסו, ויטפלו בעבודה המשעממת של זיהוי איומים. הסיפור הזה הוא רק חצי אמת. החצי השני, על פי הממצאים האחרונים של Check Point Research, הוא שתוקפים עברו הרבה מעבר לשלב הניסויים. הם משתמשים ב-AI כדי להריץ מתקפות חיות ממש ברגע זה. הטכנולוגיה אינה עוד רק כלי עבור מפתחים הבונים את מערך האפליקציות הבא. היא הפכה לנשק פעיל בידיהם של פושעים המבצעים אוטומציה של הטעיה בקנה מידה שלא ראינו מעולם.

כאשר תוקפים משתמשים ב-AI למבצעים חיים

הדו"ח מדגיש שינוי מכריע באופן שבו גורמי איום מארגנים את הקמפיינים שלהם. במקום להסתמך על קוד סטטי ופיקוד ושליטה (C2) ידני, תוקפים בונים מסגרות נוזקות מורכבות כמו VoidLink. מסגרות מסוג זה מצביעות על גישה מודולרית שבה רכיבים יכולים להסתגל, להתעדכן ולתקשר באופן דינמי. כאשר ה-AI מניע את המערכות הללו, קמפיינים של נוזקות הופכים להרבה פחות צפויים. הפיילודים (payloads) יכולים לשנות את התנהגותם בהתאם לסביבה שבה הם מדביקים, מה שהופך זיהוי מבוסס חתימות לקשה הרבה יותר ומצריך ניטור התנהגותי שמעט ארגונים הטמיעו במלואו.

מה שמדאיג עוד יותר הוא הניצול הישיר של מודלי AI מסחריים. התוקפים אינם מוגבלים לכלים תת-קרקעיים שנבנו בפורומים נסתרים. הם מנצלים לרעה את אותם מודלי שפה גדולים ושירותי AI שעסקים לגיטימיים משתמשים בהם מדי יום. באמצעות פריצת מגבלות המערכות (jailbreaking), שכלול הנדסת פרומפטים, או פשוט אוטומציה של נפח גבוה של קריאות API, פושעים עוקפים הגדרות אבטחה ומייצרים אימיילי פישינג, סקריפטים זדוניים ופיתיונות של הנדסה חברתית במהירות מכונה. האירוניה היא חריפה: התשתית שנבנתה כדי לעזור לאנשים לכתוב קוד או לסכם מסמכים נחטפת כעת כדי לפרוץ לאותם ארגונים ששילמו עבורה.

ארבע איומים מבוססי AI שיש להכיר

הניתוח של Check Point מצביע על ארבעה מקרי ניצול ספציפיים שצוותי אבטחה צריכים להכיר בפירוט. כל אחד מהם משנה את החישוב של מה שתוקף יכול להשיג ללא מגבלות של קנה מידה אנושי.

מתקפות פישינג אוטומטיות קיימות בצורות ראשוניות מזה עשורים, אך ה-AI מסיר את החיכוך שנותר. תוקפים יכולים לאסוף נתונים מרשתות חברתיות ומאתרי תאגידים כדי ליצור אימיילים מותאמים אישית ברמה גבוהה תוך שניות, תוך התאמת הטון, השפה וההקשר כך שקמפיינים המוניים ירגישו כמו הודעות אישיות. כאשר כל אימייל spear-phishing נראה כאילו נכתב בעבודת יד, זיהוי מסורתי המבוסס על דקדוק רע או כותרות של הודעות המוניות פשוט נכשל.

ערכות vishing מבוססות סוכני קול מייצגות הסלמה שחורגת מעבר לדיפ-פייק מוקלט. ערכות אלו פורסות סוכני קול אינטראקטיביים המסוגלים לנהל שיחות בזמן אמת עם קורבנות. דמיינו שיחה שנשמעת בדיוק כמו מוקד התמיכה של ה-IT שלכם, מגיבה באופן טבעי לשאלותיכם, ומבקשת בדחיפות את קוד האימות הרב-גורמי שלכם. הקול הוא סינתטי, התסריט נוצר תוך כדי תנועה, והקורבן מדבר עם תוכנה שלעולם לא נלחצת, לעולם לא נתקעת במילים שלה, ולעולם לא סוטה ממטרתה.

זהויות וירטואליות מזויפות מרחיבות את ההונאה הזו משיחות בודדות לדמויות שלמות. גורמי איום יכולים להקים פרופילים סינתטיים הכוללים תמונות שנוצרו באופן מלאכותי, היסטוריית תעסוקה מפוברקת וקשרים רשת מלאכותיים. הזהויות הללו אינן רק שולחות הודעה אחת; הן עשויות להצטרף לרשתות מקצועיות, להשתתף בדיונים בתעשייה ולבנות אמון במשך שבועות או חודשים לפני שהן מספקות פיילוד זדוני או מבקשות פרטי גישה רגישים. ההונאות ארוכות הטווח הפכו לתעשייתיות.

מתקפות הזרקת פרומפט עקיפה מתמקדות בארכיטקטורה של אפליקציות ה-AI עצמן ולא ישירות במשתמש הקצה. תוקף מחביא הוראות זדוניות בתוך דף אינטרנט, מסמך או אימייל שסוכן AI מעבד מאוחר יותר. כאשר כלי עוזר ארגוני קורא את הנתונים המורעלים הללו, הוא מבצע הוראות שהתוקף השתיל, מה שעלול להוביל לדליפת מידע חסוי או לביצוע פעולות בלתי מורשות בשם המשתמש. האפליקציה נראית כמי שמתקלה, אך היא פשוט מורצת הוראות שהיא לא הייתה אמורה לראות מעולם.

החזית הפנימית: AI לא מורשה וזליגות נתונים

איומים חיצוניים אלו מוחמרים על ידי משבר שקט יותר המתרחש בתוך כותלי המשרד. ארגונים מתמודדים כעת עם סיכון חמור משימוש לא מורשה ב-AI, המכונה לעיתים קרובות shadow AI, שבו עובדים מדביקים קוד קנייני, רשומות לקוחות או תוכניות אסטרטגיות לצ'אטבוטים ציבוריים כדי להאיץ משימות יומיומיות. התוצאה היא