OpenAI와 100개 이상의 기술 기업들이 AI 기반 사이버 공격이 실험실을 벗어나 실제 인프라를 타격하기 직전이라는 공개 서한에 서명했습니다. 이 연합은 해커들이 곧 대규모 언어 모델(LLM)과 자율 에이전트를 사용하여 결함을 찾아내고, 기계의 속도로 다단계 공격을 실행함으로써 병원, 전력망, 용수 공급을 위협할 것이라고 경고합니다.

이 경고가 지금 중요한 이유

인공지능 모델은 연구용 호기심의 대상에서 몇 초 만에 코드를 생성하고, 이메일을 작성하며, 심지어 하드웨어를 설계하는 서비스로 급성장했습니다. 이러한 생산성 향상은 악의적인 행위자들에게 사람의 손을 거치지 않고도 네트워크를 스캔하고, 익스플로잇(exploit) 스크립트를 작성하며, 공격을 조율할 수 있는 도구를 제공합니다. 미국 3개 기관의 공동 경보에 따르면, 공격자들은 이미 많은 에너지, 용수 및 제조 공장을 가동하는 Siemens S7 시리즈와 같은 산업 제어 시스템을 겨냥한 익스플로잇 코드를 생성하는 데 AI를 사용하고 있는 것으로 확인되었습니다.

위협을 가속화하는 요인

서한은 AI를 무기로 만드는 세 가지 기술적 변화를 강조합니다. 첫째, 대규모 언어 모델은 대상에 대한 짧은 설명만으로도 작동 가능한 코드로 변환할 수 있어, 페이로드(payload) 구축에 필요한 시간을 대폭 단축합니다. 둘째, 강화 학습 에이전트는 샌드박스 내에서 수천 개의 익스플로잇 변형을 테스트하며 어떤 버전이 성공하는지 학습할 수 있습니다. 셋째, 생성형 도구는 피해자의 스타일을 모방한 피싱 메시지를 작성하여 자격 증명 탈취율을 높일 수 있습니다. 이를 결합하면 단일 자동화 파이프라인이 취약점을 찾아 맞춤형 익스플로잇을 생성하고 몇 분 만에 수십 대의 장치에 공격을 퍼부을 수 있습니다.

타격받을 수 있는 대상

핵심 인프라는 디지털 제어와 물리적 프로세스가 결합되어 있기 때문에 집중적인 공격 대상이 됩니다. 침해된 정수 처리 시설은 화학 물질 투입량을 잘못 조절할 수 있고, 해킹된 변전소는 지역 전체를 암흑에 빠뜨릴 수 있으며, 조작된 병원 네트워크는 생명 유지 장치를 무력화할 수 있습니다. 서한은 병원, 용수 유틸리티, 에너지 그리드 및 화학 제조업체를 가장 노출된 분야로 지목했습니다. 이러한 운영자 중 다수는 신속하게 패치를 적용할 수 없는 레거시 장비를 사용하고 있어, AI 기반 스크립트가 공격할 수 있는 거대한 공격 표면(attack surface)을 남겨두고 있습니다.

방어자가 속도를 맞추는 방법

서명자들은 "방어자의 우위"가 여전히 존재하지만 점점 줄어들고 있다고 주장합니다. 이를 유지하기 위해 그들은 세 가지 조치를 제안합니다:

  • 기업의 책임 – 보안을 이사회의 우선순위로 삼고, AI 위협의 규모에 맞춰 예산과 감독을 조정해야 합니다.
  • 정부의 지원 – 연구 자금을 확충하고, 위협 인텔리전스를 공개적으로 공유하며, 민간 운영자와 대응 계획을 조율해야 합니다.
  • 보안의 민주화 – 소규모 유틸리티 및 지방 자치 단체 서비스가 취약한 연결 고리로 남지 않도록 저렴하고 배포하기 쉬운 AI 기반 방어 도구를 구축해야 합니다.

잠재적 반론

일부 전문가들은 AI를 새로운 위험으로 부각하는 것이 패치되지 않은 소프트웨어, 취약한 비밀번호, 부실한 네트워크 분할과 같은 고질적인 격차로부터 주의를 돌릴 수 있다고 경고합니다. 그들은 공격용으로 홍보되는 많은 AI 기술이 자동화된 코드 리뷰, 이상 징후 탐지, 신속한 사고 대응과 같이 방어에도 사용될 수 있다는 점을 지적합니다. 서한 자체에서도 방어자들이 이미 AI를 사용하고 있다고 언급하고 있지만, 비판론자들은 업계가 기본적인 보안 위생(hygiene)에 대한 투자는 소홀히 하면서 새로운 도구에 대해 과도한 약속을 할 수 있다고 경고합니다.

주목해야 할 사항

  • 정책 이니셔티브 – AI 중심 사이버 보안 연구를 위한 전용 자금 지원 방안과 강력한 생성형 모델의 출시를 규제하는 표준안이 제안될 것으로 예상됩니다.
  • 도구 출시 – 벤더들은 서한에서 강조한 분야를 겨냥하여 AI가 강화된 취약점 스캐너 및 침입 탐지 시스템을 출시할 가능성이 높습니다.
  • 사고 보고 – 핵심 인프라 시스템에 대한 최초의 공개된 AI 기반 침해 사례가 발생하면 연합의 경고가 입증됨과 동시에 규제 조치를 촉발할 수 있습니다.

이번 공개 서한은 이토록 많은 경쟁사가 공동의 실존적 위험에 대해 한 목소리를 낸 첫 사례입니다. 업계가 이러한 합의를 구체적인 안전장치로 전환할 수 있을지가 AI를 다음 사이버 파괴의 물결로 만들지, 아니면 전력을 계속 공급하는 도구로 만들지를 결정할 것입니다.