제가 구축한 AI 기반 SEO 파이프라인은 꾸준히 유입되던 노출수를 정체된 트래픽으로 만들었습니다. 하지만 Google Search Console(GSC)의 상위 15개 쿼리를 쫓는 것을 멈추고 난이도, 관련성, 클릭률(CTR) 잠재력을 기준으로 필터링을 시작하면서 상황이 바뀌었습니다. 새로운 기사들은 더 높은 순위에 오르고 2~3%의 클릭률을 기록하고 있으며, 이는 소규모 사이트라도 경쟁이 치열한 헤드라인 대신 마이크로 갭(micro-gaps)을 공략함으로써 승리할 수 있음을 증명합니다.
첫 번째 파이프라인에서 무엇이 잘못되었나
초기 시스템은 GSC 데이터를 스크래핑하여 '콘텐츠 갭'을 식별하고, 각 쿼리를 Claude 3 Opus로 보내 긴 글을 작성하게 했습니다. 작성된 초안은 Dev.to와 제 개인 도메인에 자동으로 게시되었습니다. 3개월 후 트래픽 곡선은 평탄해졌습니다. 글 자체는 탄탄했습니다. 문제는 제가 '갭'을 정의하는 방식에 있었습니다.
저는 노출수는 가장 많지만 순위는 가장 낮은 15개 쿼리를 선택해 왔습니다. 규모가 작은 사이트에서 노출수가 높은 키워드는 매우 경쟁이 치열한 니치(niche)에 속합니다. 파이프라인이 AI에게 결코 순위를 추월할 수 없는 키워드를 제공했기 때문에, 콘텐츠는 아무런 변화를 만들어내지 못했습니다.
갭 탐색 로직의 재설계
개편을 통해 초점을 양에서 질로 전환했으며, 쿼리가 선정되기 전에 세 가지 판단 레이어를 추가했습니다.
- 토픽 클러스터 친화도(Topical cluster affinity) – 에이전트가 후보 쿼리를 기존의 성과가 좋은 기사들과 비교합니다. 의미론적 유사성이 설정된 임계값 미만이면 해당 쿼리는 제외되어 토픽 권위(topical authority)를 강화합니다.
- 키워드 난이도 필터(Keyword difficulty filter) – 빠른 Google SERP 스크래핑을 통해 상위 10개 결과의 권위를 확인합니다. 검색 결과가 Wikipedia나 주요 뉴스 매체와 같은 사이트들로 점유되어 있다면 해당 쿼리는 거부됩니다.
- CTR 잠재력(CTR potential) – GSC에서 이미 괜찮은 클릭률을 보이는 쿼리를 우선시합니다. 이는 현재 순위가 낮더라도 실제 사용자의 관심이 있음을 나타냅니다.
네 번째 규칙으로 타겟을 롱테일 구문으로 제한합니다. 4단어 이상의 쿼리만 통과시켜, 광범위하고 경쟁이 심한 용어들을 자동으로 걸러냅니다.
새로운 파이프라인의 작동 방식
- 분석(Analysis) – Oracle Cloud Infrastructure(OCI)의 Python 에이전트가 최신 GSC 데이터를 가져와 친화도, 난이도, CTR 필터를 적용한 뒤 실행 가능한 쿼리 목록을 출력합니다.
- 개요 작성(Outlines) – Groq의 Llama 3 8B 모델이 몇 초 만에 뼈대를 생성합니다. 저렴한 비용 덕분에 매일 실행해도 부담이 없습니다.
- 초안 작성(Drafting) – Claude 3 Opus가 개요를 기술적으로 상세한 기사로 확장하며, 핵심을 놓치지 않으면서도 깊이를 유지합니다.
- 검토(Review) – 커스텀 에이전트가 초안의 표절 여부, 키워드 밀도, 코드 구문 정확성을 스캔하여 사람이 확인하기 전에 문제를 찾아냅니다.
- 발행(Publishing) – AI가 Dev.to에 초안 포스트를 생성합니다. 저는 이를 훑어보고 최종 수정을 거친 뒤 라이브로 게시합니다.
이제 프로세스는 반자동(semi-manual)입니다. AI가 힘든 작업을 수행하지만, 발행 전에는 여전히 제가 최종 승인을 합니다. 이러한 균형을 통해 첫 번째 반복에서 발생했던 병목 현상을 재발시키지 않으면서도 높은 품질을 유지합니다.
측정 가능한 영향
파이프라인이 이제 더 적은 수의 기사를 생성하기 때문에 출력량은 줄었지만, 각 콘텐츠의 성과는 더 좋아졌습니다:
- 클릭률(CTR)이 2~3% 범위에 머물고 있습니다.
이 교훈이 소규모 사이트에 중요한 이유
'콘텐츠 갭'은 흔히 순위가 0인 모든 키워드로 묘사되곤 합니다. 도메인 권위가 제한적인 사이트에게 이러한 정의는 무의미합니다. 그러한 갭의 대부분은 강력한 백링크 프로필을 가진 거대 사이트들의 영역이기 때문입니다. 기존의 전문 지식과 일치하는 마이크로 기회로 갭을 좁힘으로써, 사이트는 토픽 관련성을 축적하고 더 자연스럽게 백링크를 얻으며 점진적으로 SERP 순위를 높여갈 수 있습니다.
반론: AI는 만능 해결책이 아니다
이 파이프라인은 여전히 정확한 SERP 분석과 합리적인 유사성 임계값에 의존합니다. 인간의 검토 단계는 여전히 필수적입니다. AI는 사실을 환각(hallucinate)하거나 키워드 밀도를 위해 과도하게 최적화할 수 있으며, 이는 사용자 경험과 순위에 해를 끼칩니다.
향후 주목할 점
핵심 통찰은 유효합니다. 소규모 퍼블리셔는 불가능한 순위를 목표로 콘텐츠를 쏟아붓는 것이 아니라, 검색 수요의 적절한 조각을 공략함으로써 승리합니다.
핵심 요약: AI가 강화된 SEO 워크플로우에서 인간의 가장 가치 있는 기여는 현실적이고 승리 가능한 콘텐츠 갭을 정의하는 것입니다. 노이즈를 걸러내고, 친화도와 난이도에 집중하며, 초안 작성은 모델에게 맡기십시오.
Source: https://dev.to/elenarevicheva/15-gsc-queries-my-ai-content-pipelines-reality-check-405o
Optional learning community: https://t.me/GyaanSetuAi