שיפור יעילות תקציב הסריקה
גוגל מחליטה כמה כתובות URL היא סורקת באתר שלך. זהו תקציב הסריקה שלך. הוא מורכב משני חלקים: קיבולת סריקה (crawl capacity) וביקוש לסריקה (crawl demand).
קיבולת הסריקה תלויה במהירות השרת שלך. אם השרת שלך מגיב מהר, גוגל תסרוק יותר.
הביקוש לסריקה תלוי בתוכן שלך. אם התוכן שלך נשאר רענן ופופולרי, גוגל תרצה לראות אותו לעיתים קרובות יותר.
רוב האתרים הקטנים אינם צריכים לדאוג לכך. אם יש לך פחות מ-10,000 דפים, התמקד ביצירת sitemap טוב במקום זאת.
עליך לפעול רק אם יש לך:
- מעל מיליון דפים ייחודיים.
- מעל 10,000 דפים שמשתנים מדי יום.
- הרבה כתובות URL תקועות במצב "Discovered – currently not indexed" ב-Search Console.
בזבוז של תקציב סריקה נובע בדרך כלל מבעיות מבניות. בעיות נפוצות כוללות:
- ניווט מבוסס פילטרים (Faceted navigation) ופרמטרים ב-URL.
- שרשראות פילטרים אינסופיות או לוחות שנה.
- שגיאות Soft 404.
- תוכן כפול או דליל (thin content).
- שרשראות הפניה (redirect chains) ארוכות.
- זמני תגובה איטיים של השרת.
בצע את הצעדים הבאים כדי לתקן את תקציב הסריקה שלך:
- מנוע דפים כפולים והשתמש בתגיות canonical.
- השתמש ב-robots.txt כדי לחסום כתובות URL לא חשובות. אל תשתמש ב-noindex לצורך כך. גוגל חייבת לסרוק דף כדי לראות תגית noindex, מה שעדיין מבזבז את התקציב.
- החזר קודי סטטוס 404 או 410 עבור דפים שהוסרו.
- עדכן את ה-sitemaps שלך עם תאריכי lastmod נכונים.
- שפר את מהירות השרת שלך כדי להגדיל את הקיבולת.
מומחים מסוימים מציעים למחוק תוכן באיכות נמוכה כדי להגדיל את התנועה. מחקר אחד הראה עלייה של 67% לאחר מחיקת פוסטים ישנים ללא תנועה. היזהרו. מחיקת תוכן משפרת את איכות האתר ואת המיקוד שלו, אך זהו אינו טריק צמיחה מובטח.
שיפור יעילות תקציב הסריקה עוסק ביעילות. הוא מבטיח שגוגל תמצא את הדפים הטובים ביותר שלך במהירות. הוא אינו משנה ישירות את הדירוגים שלך.
בצע ביקורת (Audit) לאתר שלך לפני שאתה מוחק משהו. בצע גיזום (Pruning) לצורך איכות, ולא רק כדי להגיע למספר מסוים.
מקור: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g