테러 단체가 무기 제조 및 계획을 위해 LLM을 악용하는 방법

거대 언어 모델(LLM)의 급격한 민주화는 인류에게 엄청난 이익을 가져다주었지만, 최근 발표된 충격적인 연구는 이러한 기술적 도약의 어두운 이면을 드러내고 있습니다. 테러 조직들은 이제 전술 훈련부터 폭발물 개발에 이르기까지 운영 역량을 강화하기 위해 주류 AI 도구들을 적극적으로 무기화하고 있습니다.

탈옥(Jailbreaking)에서 전담 AI 부대까지

케임브리지 AI 과학 및 정책 프로그램(CASP)의 연구원 안토니아 율리히(Antonia Jülich)의 새로운 연구에 따르면, 극단주의 단체 내에서 매우 정교한 수준의 AI 도입이 이루어지고 있음이 밝혀졌습니다. 전직 조직원 27명을 대상으로 진행한 57차례의 인터뷰를 통해, ISIS가 2023년부터 프롬프트 엔지니어링 및 탈옥(jailbreak) 교육을 제공해 왔다는 사실이 드러났습니다. 이는 단순히 일시적인 사용이 아닙니다. ISIS 연락책들은 업계 선두 모델들의 안전 필터를 우회하는 방법을 지휘관들에게 적극적으로 교육해 왔습니다.

가장 우려스러운 점은 보코하람(Boko Haram)이 산발적인 사용을 넘어 제도적 통합 단계로 넘어갔다는 것입니다. 이 단체의 두 주요 파벌 모두 전담 AI 부대를 창설한 것으로 알려졌습니다. 율리히에 따르면, 이들 단체는 AI 교육을 최우선 과제로 취급하며, 프로젝터를 사용하여 이러한 강력한 도구들을 조작하는 방법을 시연하기 위해 조직 내 "핵심 인력"을 소집하고 있습니다.

전술적 우위를 점하기 위한 주요 챗봇 악용

이 연구는 어떤 주요 AI 기업도 이러한 오용으로부터 자유롭지 못하다는 점을 강조합니다. 테러 파벌들은 ChatGPT, Claude, Gemini, Grok, Meta AI, DeepSeek를 포함한 다양한 인기 챗봇을 활용하고 있습니다. 이러한 도구들은 다음과 같은 몇 가지 치명적이고 위험한 기능에 이용되고 있습니다:

  • 공격 계획: 반군 작전의 물류 및 타이밍 최적화.
  • 무기 개발: 더 강력한 폭발 장치를 제작하기 위한 통찰력을 얻기 위해 LLM 활용.
  • 작전 보안: 활동을 은폐하고 통신 보안을 강화하기 위해 AI 사용.
  • 전술 훈련: 한 극단적인 사례로, ISWAP 파벌은 전투 참호를 통과하기 위해 영화 속 오토바이 점프 기술을 분석하고 재현하는 데 AI를 사용했습니다.

자율적 자정 노력의 실패

이번 연구 결과는 OpenAI나 Anthropic과 같은 AI 연구소들이 오랫동안 경고해 온 내용이 사실임을 암울하게 입증합니다. 개발자들이 엄격한 안전 가드레일을 구축해 왔음에도 불구하고, 연구에 따르면 자율적인 자정 노력은 악의적인 행위자들의 속도를 따라잡지 못하고 있습니다.

LLM의 특성상 완벽한 보안은 거의 불가능에 가깝습니다. Anthropic은 최근 탈옥 문제를 완전히 제거하는 것이 불가능할 수도 있음을 인정했습니다. ChatGPT와 같은 주류 챗봇이 주로 기존 지식에 대한 접근성을 높여주는 역할을 한다면, 진정한 실존적 위협은 특화된 AI 시스템의 잠재적 오용에 있습니다. 연구원들은 현재의 사용 방식이 "전통적인" 수준에 머물러 있지만, 다음 단계는 테러리스트들이 화학 및 생물학 무기 개발을 위해 AI의 도움을 받는 것이 될 것이라고 경고합니다.

이것이 AI 생태계에 중요한 이유

이러한 전개는 AI 안전 담론의 전환점을 의미합니다. 이제 문제는 단순히 "환각(hallucination)" 현상이나 편향된 출력을 방지하는 것에 그치지 않습니다. 치명적인 지식의 민주화를 막는 것이 근본적으로 얼마나 어려운가의 문제입니다. AI 모델이 생명 과학과 같은 전문 분야에서 점점 더 유능해짐에 따라, "접근 가능한 정보"와 "실행 가능한 무기화" 사이의 간극은 계속해서 좁아지고 있으며, 이에 따라 훨씬 더 강력하고 선제적인 보안 아키텍처가 필요해지고 있습니다.

핵심 요약

  • 제도화된 오용: 보코하람과 같은 단체들은 단순한 사용을 넘어 전술 및 물류 계획을 위한 전담 "AI 부대"를 창설하는 단계에 이르렀습니다.
  • 보편적 취약성: ChatGPT, Claude, Gemini, DeepSeek를 포함한 주요 모델들이 정교한 프롬프트 엔지니어링과 탈옥 교육을 통해 우회되고 있습니다.
  • 전문 분야의 위협: 현재의 오용은 계획 수립 및 폭발물에 집중되어 있지만, 주요 장기적 위험은 화학 및 생물학전을 위해 생명 과학 분야의 특화된 AI를 사용하는 것입니다.