저는 AI 어시스턴트가 인용하기를 원하는 웹사이트를 구축했습니다. 그리고 막연한 추측 대신, 널리 권장되는 세 가지 신호를 실제로 적용해 보았습니다. GPT 스타일의 크롤러가 들어올 수 있도록 허용하는 robots.txt 항목, 모든 페이지를 나열하는 llms.txt 파일, 그리고 콘텐츠를 설명하는 JSON-LD 스키마입니다. 각각을 테스트해 본 결과, 단 하나만이 경고 없이 실패할 수 있으며, 나머지 둘은 대부분의 사람들이 주장하는 만큼의 효과를 내지 못한다는 것을 발견했습니다.

세 가지 신호가 중요한 이유

웹마스터들은 AI 중심의 크롤러에게 명시적인 권한이 필요하며, plain-text 형식의 llms.txt 인덱스가 대규모 언어 모델(LLM)이 관련 구절을 찾는 데 도움이 되고, JSON-LD 구조화 데이터가 인용될 확률을 높여준다는 이야기를 들어왔습니다. 그 약속은 간단합니다. 이 파일들을 추가하기만 하면 사이트가 AI 생성 답변에 나타나기 시작하여 트래픽과 브랜드 인지도를 높여줄 것이라는 점입니다.

1. robots.txt에서 AI 크롤러 허용하기

GPTBot(또는 다른 AI 봇)을 언급하는 robots.txt 라인은 단지 요청일 뿐입니다. 만약 콘텐츠 전송 네트워크(CDN)나 방화벽이 해당 봇을 차단한다면, 요청은 사이트에 도달하지 못하며 크롤러는 파일을 아예 읽을 수 없습니다. 봇이 접속할 수 있는지 확인하는 가장 확실한 방법은 각 주요 봇에 대한 HTTP 상태 코드를 확인하는 것입니다. 403(Forbidden) 또는 503(Service Unavailable) 응답이 나온다면 나머지 모든 작업은 무의미해집니다. 봇이 없으면 인덱싱도, 인용도 없습니다.

2. llms.txt 파일

llms.txt 파일은 단순히 URL을 마크다운 리스트로 나열한 것으로, LLM이 HTML만으로 탐색 경로를 추론할 필요 없이 사이트의 깔끔한 지도를 제공하기 위한 것입니다. 실제로 Google의 문서에 따르면 이 파일을 무시한다고 되어 있으며, 어떤 주요 검색 엔진도 인용 목적으로 이 파일을 사용하겠다고 약속하지 않았습니다. 이 파일을 유지하는 데는 비용이 거의 들지 않고 맞춤형 AI 에이전트에게는 유용할 수 있지만, 이를 AI 인용을 늘리는 지름길로 홍보해서는 안 됩니다.

3. JSON-LD 스키마

JSON-LD는 저자 이름, 발행 날짜, 제품 ID와 같은 구조화된 데이터를 페이지에 직접 포함합니다. 많은 마케터가 스키마를 추가하면 AI 답변에 페이지가 더 자주 나타날 것이라고 가정하지만, 1,885개 페이지를 대상으로 한 연구 결과 스키마 마크업만으로는 인용 횟수에서 측정 가능한 상승 효과가 나타나지 않았습니다. JSON-LD의 진정한 가치는 엔티티 해소(entity resolution)에 있습니다. 즉, 한 페이지의 "Jane Doe"가 다른 페이지의 "Jane Doe"와 동일 인물임을 기계에 알려줌으로써, 이름이나 제품명이 비슷한 대상 간의 혼동을 방지하는 것입니다.

진정한 병목 구간: 인덱싱

세 가지 신호 모두 기반 작업(plumbing)에 불과합니다. 페이지가 먼저 인덱싱되어야만 작동하기 때문입니다. 인덱스에 전혀 나타나지 않는 페이지는 크롤러 허용이나 스키마 태그를 아무리 많이 추가해도 불러올 수 없습니다. 인덱싱 상태를 확인하는 가장 확실한 지표는 Google Search Console(또는 다른 엔진의 유사한 도구)의 범위(coverage) 보고서입니다. 페이지가 "색인 생성되지 않음"으로 표시된다면, AI 관련 신호를 걱정하기 전에 이 문제부터 해결해야 합니다.

실전 체크리스트

  1. 크롤러 접속 확인 – GPTBot, ClaudeBot 또는 관심 있는 다른 AI 크롤러에 대한 HTTP 응답을 테스트하세요. 이 단계는 경고 없이 조용히 실패할 수 있습니다. 차단이 발생해도 분석 도구에 경고가 뜨지 않을 수 있습니다.
  2. 인덱스 범위 확인 – Search Console을 사용하여 어떤 페이지가 색인되었는지, 어떤 페이지가 제외되었는지, 그리고 그 이유가 무엇인지 확인하세요. "크롤링 오류"나 "noindex" 지침을 먼저 해결해야 합니다.
  3. 기반 작업 추가 – 접속과 인덱싱이 확실해지면 llms.txt와 JSON-LD를 적용하세요. 이를 인용 보증 수표가 아닌, 유지보수가 거의 필요 없는 보조 도구로 취급하십시오.

반론

일부 업체들은 여전히 llms.txt 생성기나 스키마 플러그인을 AI를 위한 SEO 부스터로 마케팅합니다. 제가 수집한 데이터와 주요 검색 엔진의 공식 입장을 종합해 볼 때, 그러한 주장들은 과장되어 있습니다. 이러한 도구들이 해로운 것은 아니지만, AI 인용 전략의 핵심이 되어서는 안 됩니다.

향후 주의 깊게 살펴볼 사항

크롤러 로그를 모니터링하고, Search Console 알림을 주시하며, 주기적으로 검증 도구를 사용하여 JSON-LD를 테스트함으로써 데이터 흐름이 원활하게 유지되도록 하세요.

핵심 요약: AI가 웹사이트를 인용하기를 원한다면, llms.txt와 스키마를 마법의 티켓처럼 취급하는 것을 멈추십시오. 봇이 실제로 접속할 수 있는지, 그리고 페이지가 인덱싱되어 있는지를 먼저 확인하세요. 그래야만 추가적인 파일들이 그들의 겸손하고 보조적인 역할을 수행할 수 있습니다.

출처: dev.to의 원문 포스트