지난 몇 년 동안 보안 업계는 인공지능을 방어자를 위한 전력 증강 요소(force multiplier)로 이야기해 왔습니다. 이야기는 이러했습니다. 머신러닝 모델이 로그를 훑어보고, 인간 분석가가 놓친 이상 징후를 포착하며, 위협 탐지의 지루한 작업을 처리할 것이라는 내용이었습니다. 하지만 그 이야기는 절반만 사실입니다. Check Point Research의 최신 조사 결과에 따르면, 나머지 절반의 사실은 공격자들이 이미 실험 단계를 훨씬 넘어섰다는 것입니다. 그들은 지금 이 순간에도 실시간 공격을 수행하기 위해 AI를 사용하고 있습니다. 이 기술은 더 이상 차세대 애플리케이션 스택을 구축하는 개발자들만의 도구가 아닙니다. 이제는 전례 없는 규모로 기만 행위를 자동화하는 범죄자들의 손에 들린 능동적인 무기가 되었습니다.
공격자가 실시간 작전에 AI를 사용하는 경우
이 보고서는 위협 행위자들이 캠페인을 조직하는 방식에서 결정적인 변화가 일어나고 있음을 강조합니다. 공격자들은 정적인 코드와 수동적인 명령 및 제어(command-and-control)에 의존하는 대신, VoidLink와 같은 복잡한 멀웨어 프레임워크를 구축하고 있습니다. 이러한 종류의 프레임워크는 구성 요소가 동적으로 적응, 업데이트 및 통신할 수 있는 모듈형 방식을 시사합니다. AI가 이러한 시스템을 구동하면 멀웨어 캠페인은 훨씬 예측하기 어려워집니다. 페이로드는 감염된 환경에 따라 동작을 변경할 수 있으며, 이는 시그니처 기반 탐지를 훨씬 어렵게 만들고, 아직 많은 조직이 완전히 구축하지 못한 행위 기반 모니터링을 요구합니다.
더욱 우려스러운 점은 상용 AI 모델을 직접적으로 악용한다는 것입니다. 공격자들은 숨겨진 포럼에서 만들어진 지하 도구에만 국한되지 않습니다. 그들은 합법적인 기업들이 매일 사용하는 것과 동일한 대규모 언어 모델(LLM)과 AI 서비스를 남용하고 있습니다. 시스템을 탈옥(jailbreaking)하거나, 프롬프트 엔지니어링을 정교화하거나, 단순히 대량의 API 호출을 자동화함으로써, 범죄자들은 보안 설정을 우회하고 피싱 이메일, 악성 스크립트, 사회 공학적 유인책을 기계적인 속도로 생성합니다. 아이러니하게도, 사람들이 코드를 작성하거나 문서를 요약하는 것을 돕기 위해 구축된 인프라가 이제는 그 인프라를 구매한 조직을 침해하는 데 하이재킹되고 있습니다.
이해해야 할 네 가지 AI 기반 위협
Check Point의 분석은 보안 팀이 상세히 인지해야 할 네 가지 구체적인 악용 사례를 지적합니다. 각 사례는 공격자가 인간의 규모 제한 없이 달성할 수 있는 성과에 대한 계산을 완전히 바꿔 놓습니다.
자동화된 피싱 공격은 수십 년 동안 원시적인 형태로 존재해 왔지만, AI는 남아 있는 모든 마찰을 제거합니다. 공격자는 소셜 미디어와 기업 웹사이트를 스크래핑하여 몇 초 만에 고도로 개인화된 이메일을 생성할 수 있으며, 어조, 언어 및 문맥을 조정하여 대량 캠페인이 마치 일대일 메시지처럼 느껴지게 만듭니다. 모든 스피어 피싱 이메일이 수작업으로 작성된 것처럼 보일 때, 어설픈 문법이나 대량 이메일 헤더에 기반한 전통적인 탐지 방식은 단순히 실패하게 됩니다.
보이스 에이전트 비싱(vishing) 키트는 녹음된 딥페이크를 넘어선 단계의 에스컬레이션을 나타냅니다. 이러한 키트는 피해자와 실시간 대화가 가능한 대화형 보이스 에이전트를 배치합니다. 당신의 IT 헬프 데스크와 똑같이 들리고, 질문에 자연스럽게 응답하며, 다요소 인증(MFA) 코드를 긴급하게 요구하는 전화를 상상해 보십시오. 목소리는 합성된 것이고, 스크립트는 즉석에서 생성되며, 피해자는 결코 긴장하지 않고, 말을 더듬지 않으며, 목표에서 벗어나지 않는 소프트웨어와 대화하고 있는 것입니다.
위조된 가상 정체성은 이러한 속임수를 단일 통화에서 전체 페르소나로 확장합니다. 위협 행위자는 생성된 사진, 조작된 경력, 인위적인 인맥 관계를 갖춘 합성 프로필을 만들어낼 수 있습니다. 이러한 정체성은 단순히 메시지 하나를 보내는 데 그치지 않습니다. 이들은 전문 네트워크에 가입하고, 업계 토론에 참여하며, 악성 페이로드를 전달하거나 민감한 자격 증명을 요청하기 전까지 몇 주 또는 몇 달 동안 신뢰를 쌓을 수 있습니다. 장기적인 사기 수법(long con)이 산업화된 것입니다.
간접 프롬프트 주입 공격은 최종 사용자를 직접 겨냥하기보다 AI 애플리케이션의 아키텍처 자체를 겨냥합니다. 공격자는 AI 에이전트가 나중에 처리할 웹페이지, 문서 또는 이메일 내부에 악성 지침을 숨깁니다. 기업용 어시스턴트 도구가 해당 오염된 데이터를 읽을 때, 공격자가 심어 놓은 지침을 실행하여 잠재적으로 기밀 정보를 유출하거나 사용자를 대신하여 승인되지 않은 작업을 수행할 수 있습니다. 애플리케이션이 오작동하는 것처럼 보이지만, 실제로는 결코 봐서는 안 될 명령을 따르고 있을 뿐입니다.
내부 전선: 승인되지 않은 AI 및 데이터 유출
이러한 외부 위협은 사무실 내부에서 조용히 진행 중인 위기로 인해 더욱 가중되고 있습니다. 기업들은 흔히 '섀도우 AI(shadow AI)'라고 불리는 승인되지 않은 AI 사용으로 인해 심각한 위험에 직면해 있습니다. 이는 직원들이 일상 업무를 빠르게 처리하기 위해 기업 소유의 코드, 고객 기록 또는 전략 계획을 공개 챗봇에 붙여넣으면서 발생합니다. 그 결과는