ביקורת על קטלוג כלי תעשייה של 5,000 SKU הראתה ש-Googlebot סורק את כתובות ה-URL של הפילטרים באתר שלוש פעמים ביום, בעוד שדפי הקטגוריה הראשיים נצפו רק פעם בשלושה שבועות. התוצאה? למוצרים חדשים לקח חודש להופיע בתוצאות החיפוש, כיוון שהסורק נתקע בכתובות URL בעלות ערך נמוך.

חיפוש מבוסס פילטרים מאפשר לקונים לצמצם תוצאות לפי חומר, גודל, ציפוי ומאפיינים נוספים. כל פילטר מוסיף פרמטר ל-URL, ועם חמישה ממדים, השילובים האפשריים מתפוצצים לעשרות אלפי דפים ייחודיים. רוב הדפים הללו מכילים כמעט את אותה רשימת מוצרים, אך גוגל מתייחסת לכל אחד מהם ככתובת URL נפרדת. מכיוון שתקציב הסריקה של גוגל – מספר הדפים שהיא תמשוך באתר בכל יום – הוא מוגבל, היא מבזבזת "מכסות" יקרות על כתובות URL שמוסיפות מעט מאוד ערך למשתמשים או לחיפוש.

מבנה ה-URL של האתר מזמין את הבוט לתוך "מלכודת סריקה" (crawl trap), שבה הוא עוקב ללא הרף אחר קישורים שמובילים לדפים כמעט זהים.

מה עומד על הפרק

  • מהירות אינדוקס – גילוי מושהה אומר שמלאי חדש נשאר בלתי נראה במשך שבועות, מה שפוגע במכירות.
  • נראות בחיפוש – אם גוגל תוציא את התקציב שלה על דפי פילטרים, דפי מוצרים בעלי עדיפות גבוהה עלולים לא להיסרק לעולם, מה שיגביל את הסיכוי שלהם לדרג.

מדריך שלב אחר שלב להשבתת תקציב הסריקה

  1. זהו פילטרים בעלי ערך גבוה
    מצא שילובים של פילטרים שמייצרים תעבורת חיפוש אמיתית. תן לכתובות ה-URL הללו נתיב נקי ותיאורי (למשל, /end-mill/coating-tialn/). שמור על דפים בעלי ערך גבוה ככאלה שניתן לסרוק ולאנדקס באופן מלא.

  2. טפל בפילטרים בעלי ערך בינוני באמצעות תגיות קנוניקל (canonical tags)
    כאשר פילטר הוא שימושי אך מייצר נפח חיפוש נמוך, השאר את ה-URL נגיש אך הוסף rel=canonical המפנה חזרה לדף הקטגוריה הראשי. זה אומר לגוגל שהקטגוריה היא הגרסה המועדפת.

  3. חסום פילטרים בעלי ערך נמוך באמצעות robots.txt
    הגדר Disallow לתבניות הללו ב-robots.txt כדי ש-Googlebot לעולם לא יבקש אותן.

  4. הצג פילטרים מתקדמים ככפתורים, לא כקישורים
    בוטים עוקבים אחר אלמנטים מסוג <a> אך מתעלמים מאלמנטים מסוג <button>. ספק בקרת פילטרים ככפתורים שמפעילים JavaScript מבלי ליצור כתובות URL חדשות. המשתמשים עדיין מקבלים את ממשק המשתמש שהם צריכים, בעוד שהסורק לא יוכל לגלות כתובות URL מיותרות.

  5. הימנע ממלכודת ה-"noindex"
    הוספת noindex ל-30,000 כתובות URL של פילטרים עדיין מאלצת את גוגל להוריד כל דף תחילה, ואז לקרוא בהוראה להתעלם ממנו. השתמש ב-robots.txt כדי לעצור את הסריקה לחלוטין; רק דפים שבכוונתכם לאנדקס צריכים להיות נגישים.

מדידת הצלחה

העבירו את המיקוד מדירוגים למהירות אינדוקס. עקבו אחר הזמן שלוקח למוצר חדש להופיע באינדקס של גוגל לפני ואחרי השינויים. מעבר מפיגור של 21 ימים לפיגור של 3 ימים מראה שהאסטרטגיה עובדת.

נקודת מבט נגדית: נוחות שימוש מול יעילות סריקה

שמרו על ממשק המשתמש (UI) ללא שינוי – כפתורים עדיין מאפשרים למשתמשים לדייק את התוצאות – תוך שמירה על כתובות ה-URL שבבסיסן נסתרות מהסורק. אם פילטר מסוים מתברר כחיוני לניווט, קדמו אותו כפילטר בעל ערך גבוה ותנו לו כתובת URL נקייה הניתנת לסריקה.

מה כדאי לעקוב אחריו בהמשך

  • נתוני סריקה ב-Search Console – עקבו אחר דוח ה-"Crawl Stats" לצמצום ב-"Requests blocked by robots.txt" ועלייה ב-"Crawl depth" עבור דפי מוצרים.

בשורה התחתונה: סווגו פילטרים, השתמשו בתגיות קנוניקל, חסמו כתובות URL בעלות ערך נמוך והחליפו קישורים בכפתורים. אתרי אי-קומרס גדולים יכולים לכוון את Googlebot לעבר הדפים שחשובים באמת, ובכך לקצר את זמן האינדוקס משבועות לימים מבלי להקריב את פונקציונליות הקנייה של המשתמשים.