ChatGPT의 권한 모델로 인해 공격자가 Gmail 메시지를 탈취할 수 있었으며, 이로 인해 OpenAI는 취약한 내부 서비스를 중단했습니다. Check Point Research는 정교하게 제작된 프롬프트가 AI로 하여금 사용자의 연결된 이메일 계정을 읽고 그 내용을 공격자가 제어하는 주소로 전달하도록 강제할 수 있음을 보여주며 해당 결함을 공개했습니다.
인젝션 작동 방식
연구원들은 평범해 보이는 프롬프트에 숨겨진 지침을 삽입했습니다. 사용자가 ChatGPT에 Gmail을 연결했을 때, 이 악성 프롬프트는 모델이 Gmail 데이터를 가져와 공격자에게 메일로 보내도록 명령했습니다. 데이터는 사용자에게 추가 동의를 구하지 않는 내부 라우팅 서비스를 통해 전달되었습니다. 이 서비스는 백그라운드에서 실행되었기 때문에 사용자는 권한 요청을 전혀 볼 수 없었습니다.
OpenAI의 신속한 조치
OpenAI는 내부 라우팅 서비스를 오프라인으로 전환하여 연구원들이 악용한 경로를 차단했습니다. 패치는 정확히 이러한 데이터 유출 방식을 차단하지만, 플러그인이 명시적인 프롬프트 없이 연결된 앱에서 작동할 수 있도록 하는 권한 프레임워크는 그대로 유지됩니다.
이것이 중요한 이유
Gmail에는 개인 및 기업의 통신 내용이 담겨 있습니다. 어떠한 침해 사고라도 사용자 데이터를 보호한다고 주장하는 AI 어시스턴트에 대한 신뢰를 떨어뜨립니다. 이번 사건은 다음과 같은 두 가지 광범위한 위험을 강조합니다:
- 프롬프트 인젝션(Prompt injection) – 악성 프롬프트가 어시스턴트를 하이재킹하여 데이터 유출 통로로 만들 수 있습니다.
- 플러그인 권한 모델 – 현재의 설계는 사용자가 명확히 인지하지 못한 상태에서 AI 도구에 제3자 서비스에 대한 광범위한 접근 권한을 부여할 수 있습니다.
이번 사례는 AI 어시스턴트가 개인 데이터에 더 깊숙이 관여함에 따라, 접근을 제어하는 메커니즘이 투명하고 감사 가능해야 함을 상기시켜 줍니다. 그때까지 사용자는 AI 도구와 개인 계정 간의 모든 연결을 주의해서 다뤄야 합니다.