5,000개의 SKU를 보유한 산업용 도구 카탈로그를 감사한 결과, Googlebot이 사이트의 필터 URL을 하루에 세 번 크롤링하는 반면, 주요 카테고리 페이지는 3주에 한 번만 방문하는 것으로 나타났습니다. 그 결과는 어땠을까요? 크롤러가 가치가 낮은 URL에 갇혀 있는 바람에 신제품이 검색 결과에 나타나기까지 한 달이나 걸렸습니다.

패싯 검색을 통해 쇼핑객은 재질, 크기, 코팅 및 기타 속성에 따라 검색 결과를 좁힐 수 있습니다. 각 패싯은 URL에 매개변수를 추가하며, 5개의 차원이 결합되면 가능한 조합은 수만 개의 고유한 페이지로 폭발적으로 늘어납니다. 이러한 페이지 대부분은 거의 동일한 제품 목록을 포함하고 있지만, Google은 각 페이지를 별개의 URL로 취급합니다. Google의 크롤링 예산(사이트에서 하루 동안 가져올 수 있는 페이지 수)은 제한되어 있기 때문에, 사용자나 검색에 거의 가치를 더하지 않는 URL에 귀중한 크롤링 기회를 소모하게 됩니다.

사이트의 URL 구조는 봇을 "크롤 트랩(crawl trap)"으로 유인하여, 거의 중복된 페이지로 이어지는 링크를 끝없이 따라가게 만듭니다.

직면한 문제점

  • 색인 속도(Indexing speed) – 발견이 지연되면 신규 재고가 몇 주 동안 노출되지 않아 매출에 타격을 줍니다.
  • 검색 가시성(Search visibility) – Google이 필터 페이지에 예산을 소모하면, 우선순위가 높은 제품 페이지가 크롤링되지 않을 수 있어 순위 진입 기회가 제한됩니다.

크롤링 예산을 되찾기 위한 단계별 가이드

  1. 가치가 높은 패싯 식별
    실제 검색 트래픽을 생성하는 필터 조합을 찾으세요. 해당 URL에는 깔끔하고 설명적인 경로(예: /end-mill/coating-tialn/)를 부여하세요. 가치가 높은 페이지는 크롤링과 색인이 원활하게 이루어지도록 유지해야 합니다.

  2. 중간 가치 패싯은 canonical 태그로 처리
    필터가 유용하지만 검색량이 적은 경우, URL은 접근 가능하게 두되 메인 카테고리 페이지를 가리키는 rel=canonical을 추가하세요. 이를 통해 Google에 카테고리 페이지가 기본 버전임을 알려줍니다.

  3. robots.txt를 통해 가치가 낮은 패싯 차단
    robots.txt에서 해당 패턴을 Disallow 처리하여 Googlebot이 해당 URL을 요청하지 않도록 합니다.

  4. 고급 필터를 링크가 아닌 버튼으로 구현
    봇은 <a> 요소는 따라가지만 <button> 요소는 무시합니다. 새로운 URL을 생성하지 않고 JavaScript를 트리거하는 버튼으로 필터 컨트롤을 제공하세요. 이렇게 하면 사용자는 필요한 UI를 그대로 사용하면서도, 크롤러는 쓸모없는 URL을 발견하지 못하게 됩니다.

  5. "noindex" 함정 피하기
    30,000개의 필터 URL에 noindex를 추가하더라도 Google은 일단 각 페이지를 다운로드한 다음, 해당 페이지를 무시하라는 지침을 읽어야 합니다. robots.txt를 사용하여 크롤링을 완전히 중단시키세요. 색인하려는 페이지에만 접근이 가능해야 합니다.

성공 측정하기

초점을 순위에서 색인 속도로 전환하세요. 변경 전후에 새로 추가된 제품이 Google 색인에 나타나기까지 얼마나 걸리는지 추적하세요. 지연 시간이 21일에서 3일로 줄어든다면 전략이 제대로 작동하고 있다는 증거입니다.

반론: 사용성 대 크롤링 효율성

버튼을 통해 사용자가 결과를 계속 세분화할 수 있도록 UI는 그대로 유지하면서, 하위 URL은 크롤러에게 보이지 않게 관리하세요. 특정 필터가 탐색에 필수적이라고 판단되면, 이를 가치가 높은 패싯으로 격상시키고 깔끔한 크롤링 가능 URL을 부여하세요.

다음으로 살펴볼 사항

  • Search Console 크롤 통계 – “크롤 통계(Crawl Stats)” 보고서를 모니터링하여 “robots.txt에 의해 차단된 요청(Requests blocked by robots.txt)”이 감소하고 제품 페이지의 “크롤 깊이(Crawl depth)”가 증가하는지 확인하세요.

핵심 요약: 패싯을 분류하고, canonical 태그를 사용하며, 가치가 낮은 URL을 차단하고, 링크를 버튼으로 교체하세요. 대규모 이커머스 사이트는 쇼핑객의 기능성을 희생하지 않으면서도 Googlebot을 중요한 페이지로 유도하여 색인 시간을 몇 주에서 며칠로 단축할 수 있습니다.