ChatGPT가 대중적인 이름이 된 이후로, AI 탐지기를 둘러싼 일종의 신화가 생겨났습니다. 사람들은 이를 ChatGPT의 지문을 찾아내는 디지털 사냥개처럼 상상하곤 합니다. 하지만 진실은 그만큼 극적이지 않습니다. 이 도구들은 LLM이 작성한 모든 것을 담은 비밀 데이터베이스를 조회하는 것이 아닙니다. 사용자의 브라우저 기록에 직접 연결되어 있지도 않습니다. 이들이 실제로 하는 일은 텍스트를 통계 모델에 통과시켜 기계가 생성한 문체와 상관관계가 있는 수학적 신호를 찾아내는 것입니다. 이러한 신호를 이해하면 탐지 결과의 의미를 현명하게 해석할 수 있으며, 퍼센트 점수에 맹목적인 믿음을 갖는 것을 방지할 수 있습니다.

이 도구들의 실제 작동 방식

본질적으로 AI 탐지기는 확률을 기반으로 하는 패턴 매칭 엔진입니다. 대규모 언어 모델(LLM)은 문장을 이어가며 다음에 올 가능성이 가장 높은 토큰을 예측하는 방식으로 작동합니다. 수천 개의 단어를 거치면서 이러한 습관은 통계적 잔여물을 남깁니다. 탐지기는 바로 이 잔여물을 측정하려고 시도합니다.

필적 분석을 생각해보십시오. 전문가는 사용자의 'g'를 세상의 모든 'g'가 담긴 마스터 데이터베이스와 비교하지 않습니다. 대신 리듬, 기울기, 필압, 간격을 살펴봅니다. 탐지기도 텍스트에 유사한 논리를 적용합니다. 언어가 얼마나 예측 가능한지, 구조가 얼마나 균일하게 유지되는지, 그리고 어휘가 합성된 글쓰기에서 흔히 나타나는 좁은 통계적 범위에 부합하는지를 조사합니다.

모든 탐지기 제공업체가 서로 다른 코퍼스(corpus)로 모델을 학습시키고 민감도를 다르게 조정하기 때문에, 동일한 문단이라도 한 플랫폼에서는 12%로, 다른 플랫폼에서는 87%로 측정될 수 있습니다. 'AI스러움'에 대한 보편적인 표준은 존재하지 않습니다. 각 도구는 본질적으로 수학으로 구현된 하나의 의견입니다.

탐지기가 찾아내는 네 가지 신호

대부분의 탐지 플랫폼은 몇 가지 특정 마커를 찾습니다. 이것이 무엇인지 알면 많은 혼란을 해소할 수 있습니다.

예측 가능성 인간의 언어는 불규칙합니다. 카페를 묘사하는 사람은 에스프레소의 탄 향기를 언급했다가, 할머니의 주방에 대한 기억으로 빠져들었다가, 다시 얼룩진 바닥판으로 돌아올 수도 있습니다. 반면 AI는 가장 확률이 높은 경로를 따르는 경향이 있습니다. 학습 데이터에서 가장 안전하고 예상 가능한 적합성을 보여준 단어들을 선택합니다. 탐지기는 당혹도(perplexity)와 같은 대리 지표를 통해 이를 측정합니다. 만약 텍스트가 탐지기 자체의 내부 언어 모델을 거의 놀라게 하지 않는다면, 도구는 AI의 개입을 의심합니다. 문체가 예측 가능할수록 경고 수치는 높아집니다.

문장 변동성 편집되지 않은 AI 출력물을 천 단어 정도 소리 내어 읽어보면 메트로놈 효과를 느낄 수 있습니다. 문장들이 대개 비슷한 단어 수 범위를 유지하며, 주로 접속사로 연결된 복합 구조를 띱니다. 인간 작가는 페이지 위에서 다르게 호흡합니다. 파편화된 문장을 쓰기도 하고, 길고 구불구불한 문장 뒤에 짧은 문장 하나로 강렬한 인상을 남기기도 합니다. 질문을 던지기도 하고, 의도적으로 리듬을 깨뜨리기도 합니다. 탐지기는 흔히 '버스티니스(burstiness)'라고 불리는 이러한 불규칙성을 찾습니다. 매끄럽고 균일한 운율은 통계적으로 보이며, 거칠고 불균일한 운율은 인간처럼 보입니다.

어조와 관점의 일관성 AI 출력물은 첫 문장부터 마지막 문장까지 동일한 레지스터(register, 문체/어조)를 유지하는 경향이 있습니다. 격식 있는 3인칭 시점으로 시작하면 대개 그 상태를 유지합니다. 인간은 흐름이 바뀝니다. 전문적인 관찰로 시작했다가 개인적인 일화를 회상하고, 농담을 던졌다가, 다시 진지해지기도 합니다. 여담을 덧붙이거나, 어휘를 바꾸거나, 성찰을 통해 이전의 논점을 뒤집기도 합니다. 이러한 어조의 흔들림은 현재의 언어 모델이 긴 지문 전체에서 설득력 있게 재현하기 어렵습니다. 탐지기는 이러한 불일치를 키보드 뒤에 실제 사람이 있다는 증거로 간주합니다.

단어 선택과 레지스터 합성된 글쓰기는 대개 묘하게 격식 있는 중간 지대를 차지합니다. 특정 속어나 지역적 관용구, 업계 전문 용어보다는 흔한 추상 명사와 널리 쓰이는 동사를 선호합니다. 인간 프로그래머라면 "스크립트를 대충 짜냈다(hacked together a script)"거나 "빌드 파이프라인과 씨름했다(wrestled with the build pipeline)"라고 쓸 수 있습니다. 반면 AI는 "솔루션을 개발했다(developed a solution)"거나 "배포 문제를 해결했다(addressed the deployment issue)"라고 말할 가능성이 높습니다. 탐지기는 텍스트가 좁고 빈도가 높은 어휘 범위 내에 머물러 있으며, 특이한 표현이나 의도적인 문법적 비틀기를 거의 시도하지 않을 때 이를 포착합니다.

플랫폼마다 점수가 달라지는 이유

동일한 에세이를 세 개의 서로 다른 탐지기에 붙여넣으면, 서로 일치하지 않는 세 가지 판정을 받을 수도 있습니다. 이는 기반이 되는 메커니즘이 유의미한 방식으로 다르기 때문에 발생합니다.

어떤 도구들은 주로 구형 GPT-3.5 출력물로 학습되었습니다. 다른 도구들은 최신 GPT-4 생성물을 입력받거나 여러 모델의 합성 텍스트를 혼합하여 사용합니다. 기능별 가중치 또한 제각각입니다. 어떤 플랫폼은 문장 길이의 균일성에 큰 비중을 두는 반면, 다른 플랫폼은 당혹도(perplexity)를 전면에 내세웁니다. 임계값은 임의적인 내부 설정일 뿐입니다. 어떤 업체는 신뢰도가 60% 이상이면 "AI일 가능성이 높음"이라고 라벨을 붙이는 반면, 경쟁 업체는 90%가 되어야 그 라벨을 부여하기도 합니다.

이러한 도구들을 인증하는 관리 기구는 존재하지 않습니다. 이들은 확실성이라는 미명 아래 판매되는 실험적인 도구들입니다. 이들의 판결을 법적 증거로 취급하거나 학술적 처벌의 근거로 삼는 것은, 휴대용 기상 관측 장비를 사용하여 한 시즌 전체의 농작물 수확량을 예측하려는 것과 같습니다.

오탐(False Positive) 문제

탐지기는 직접적인 증거가 아닌 통계적 상관관계에 의존하기 때문에, 인간의 글을 합성된 글로 오인하는 경우가 빈번합니다. 특히 몇 가지 유형의 정당한 산문들이 취약합니다.

학술 논문은 엄격한 관례를 따릅니다. 수동태, 완곡한 표현, 표준화된 섹션 제목은 AI 모델의 학습 데이터와 유사한 매우 규칙적인 통계적 프로필을 생성합니다. 기술 매뉴얼도 같은 문제를 겪습니다. 일관된 용어, 짧은 평서문, 최소한의 감정적 변화를 사용하는데, 이 모든 요소가 패턴 기반의 의심을 불러일으킵니다. 법률 문서는 본질적으로 구조화된 템플릿이며, 그 반복적인 정밀함은 분류기(classifier)에게 알고리즘처럼 보입니다.

영어가 모국어가 아닌 화자들은 문법적으로는 정확하지만 구문론적으로는 더 단순한 글을 쓰는 경우가 많습니다. 이들의 신중한 문장 구성은—원어민 특유의 관용적 혼란을 피하려다 보니—기계 텍스트와 동일한 통계적 영역에 놓일 수 있습니다. 에세이를 쓰기 위해 몇 시간 동안 공을 들인 학생이, 단지 그들의 절제되고 명료한 문장이 탐지기에게 너무 질서 정연해 보인다는 이유만으로 억울하게 비난받을 수 있습니다.

탐지기에 휘둘리지 않고 탐지기 활용하기

이러한 도구를 다루는 가장 건강한 방법은 이를 배심원의 판결이 아닌, 1차 필터로 취급하는 것입니다. 편집자, 교사 또는 채용 담당자라면 높은 점수가 나왔을 때 비난하기보다는 대화의 계기로 삼으십시오. 작성자에게 집필 과정에 대해 물어보십시오. 개요나 초안을 요청하십시오. 산문 이면에 담긴 독창적인 생각을 찾아보십시오.

작가라면 탐지기를 속이기 위해 자신의 글을 최적화하지 마십시오. "더 인간처럼" 보이기 위해 무작위로 오타를 넣거나, 문장을 인위적으로 자르거나, 정확한 단어를 기괴한 유의어로 교체하기 시작하는 순간, 당신은 편집증을 위해 명료함을 희생하는 것입니다. 당신은 더 이상 독자를 위해 글을 쓰는 것이 아니라, 알고리즘을 위해 연기하고 있는 것입니다.

생각하는 방식대로 쓰십시오. 리듬을 자연스럽게 변화시키십시오. 해당 분야의 전문 용어를 사용하십시오. 오직 당신만이 할 수 있는 관찰을 포함하십시오. 그러한 질감(texture)은 어떤 탐지기에 대해서도 최고의 방어 수단이며, 무엇보다도 그것이 당신의 글을 읽을 가치가 있게 만드는 근본적인 요소입니다.

핵심 요약

AI 탐지기는 운전자가 아니라 분석용 사이드카(sidecar)입니다. 텍스트가 통계적으로 매끄러워 보인다는 점을 시사할 수는 있지만, 통찰력, 창의성 또는 삶의 경험을 측정할 수는 없습니다. 높은 점수가 나온다고 해서 그 논증이 독창적인지, 이야기가 사실인지, 또는 기술적 설명이 정확한지를 알려주지는 못합니다.

명료함에 집중하십시오. 화면 너머에 있는 인간을 우선시하십시오. 독창적인 아이디어에는 어떤 분류기도 온전히 포착할 수 없는 질감이 있으며, 그 어떤 백분율도 세심한 독자의 판단을 대신할 수 없습니다.