צוות ה-SEO של זירת המסחר שכתב מחדש את כלל האינדוקס שלו לאחר שמדיניות פשוטה של "פחות מ-3 מודעות = noindex" גרמה לדפי קטגוריה להיעלם מגוגל ולקחת שבועות עד שחזרו. על ידי הוספת רשומת "שחרור" (unlock) חד-כיוונית המאפשרת לדף לעבור מ-noindex ל-index אך לעולם לא חזרה, האתר עצר את ה"הבהובים".

למה הכלל המקורי יצא לפועל הפוך

פלטפורמת המודעות (classifieds) מייצרת דפים רבים של קטגוריה ומיקום. כאשר דף מופיע לראשונה, הוא מכיל לעיתים קרובות רק קומץ מודעות, ולכן הצוות החליט להסתיר אותו מחיפושים עד שיגיע לסף מינימלי של שלוש מודעות. הלוגיקה הייתה פשוטה:

  • < 3 מודעות ← הוספת תג noindex meta
  • ≥ 3 מודעות ← הסרת התג (אפשרות אינדוקס)

בתחילה, זה מנע דפים דלילים (thin) ובעלי ערך נמוך מהופעה בתוצאות של גוגל. הבעיה צצה כאשר מודעות פגו תוקף. דף עם חמש מודעות ביום אחד יכול היה לצנוח לשתיים למחרת, מה שהחזיר אותו באופן מיידי למצב noindex. גוגל ציית, הסיר את ה-URL מהאינדקס שלו, והדף איבד כל דירוג שבנה. כאשר מודעה חדשה הגיעה, הדף הפך שוב לניתן לאינדוקס, אך תהליך הכניסה מחדש ארך שבועות.

התוצאה הייתה מחזור קבוע של "דלוק-כבוי": דפים נכנסו לאינדקס, נעלמו, נכנסו מחדש, וכן הלאה.

פתרון ה-"unlock" החד-כיווני

הפגם המרכזי היה שלכלל לא היה "זיכרון"; הוא חישב מחדש את הסף בכל בקשה. הצוות הציג טבלת מסד נתונים קטנה — seo_unlocks — המתעדת מתי דף מגיע לראשונה לרף של שלוש המודעות. תהליך העבודה החדש הוא:

  1. בדיקת מספר המודעות. אם לדף יש שלוש מודעות פעילות או יותר, ממשיכים.
  2. כתיבת שורת שחרור (unlock). הכנסת רשומה עבור אותו דף לתוך seo_unlocks.
  3. התייחסות לדף ככזה שניתן לאנדקס לצמיתות. גם אם מספר המודעות ירד מאוחר יותר מתחת לשלוש, נוכחותה של שורת שחרור שומרת על הדף מחוץ לתזרים ה-noindex.

מכיוון שניתן לכתוב את ה-"unlock" רק פעם אחת, דף יכול לעבור מ-"noindex" ל-"index" אך לעולם לא חזרה. הצוות הוסיף מנגנוני הגנה כך שכתובות URL מסוננות (למשל, תוצאות חיפוש עם טווחי מחירים) לא יוכלו ליצור "unlocks" עבור קטגוריות האם שלהן, ועטף את הקריאה למסד הנתונים בבלוק try/catch כדי למנוע מכשל ב-DB להפיל את האתר כולו.

מה זה אומר על תקציב סריקה (crawl budget) ודפים דלילים

תפיסה שגויה נפוצה היא ש-noindex חוסך בתקציב סריקה. גוגל עדיין צריך למשוך את הדף, לקרוא את התג, ואז להסיר אותו מהאינדקס. אם המטרה היא למנוע מגוגל לבקש תבנית URL שלמה, הכלי הנכון הוא robots.txt. השתמש ב-noindex רק כאשר אתה רוצה שגוגל יראה את הדף אך לא יציג אותו בתוצאות החיפוש.

עבור ספריות, לוחות דרושים וזירות מסחר המסתמכים על מספר רב של דפים שנוצרים אוטומטית, הלקח ברור: כללי דפים דלילים חייבים להיות מצומדים לשכבת שימור (persistence layer) שזוכרת מתי דף זכה למקום באינדקס. ללא הזיכרון הזה, ירידה זמנית בכמות התוכן עלולה לגרום לדף לאבד את הדירוג שבנה, והכניסה מחדש יכולה לארוך שבועות.

שורה תחתונה

כלל סטטי של "אם הכמות < 3 אז noindex" יוצר תנודתיות ב-SEO עבור אתרים עם מודעות דינמיות. הוספת רשומת "unlock" חד-כיוונית מעניקה לכלל זיכרון, ומאפשרת לדפים לזכות בסטטוס אינדוקס ולשמור עליו גם כאשר מספר המודעות משתנה. שילוב של זה עם שימוש נכון ב-robots.txt לחיסכון אמיתי בתקציב סריקה, יאפשר לכם להגן הן על הדירוגים והן על משאבי השרת.