بازیابی بودجه خزش
گوگل تصمیم میگیرد که چه تعداد از URLهای سایت شما را خزش کند. این همان بودجه خزش شماست. این بودجه از دو بخش تشکیل شده است: ظرفیت خزش (crawl capacity) و تقاضای خزش (crawl demand).
ظرفیت خزش به سرعت سرور شما بستگی دارد. اگر سرور شما سریع پاسخ دهد، گوگل صفحات بیشتری را خزش میکند.
تقاضای خزش به محتوای شما بستگی دارد. اگر محتوای شما تازه و محبوب باقی بماند، گوگل میخواهد آن را بیشتر مشاهده کند.
اکثر سایتهای کوچک نیازی به نگرانی در این مورد ندارند. اگر کمتر از ۱۰,۰۰۰ صفحه دارید، در عوض روی یک sitemap خوب تمرکز کنید.
تنها زمانی باید اقدام کنید که داشته باشید:
- بیش از ۱ میلیون صفحه منحصربهفرد.
- بیش از ۱۰,۰۰۰ صفحهای که روزانه تغییر میکنند.
- تعداد زیادی URL که در Search Console در وضعیت "Discovered – currently not indexed" گیر کردهاند.
هدر رفتن بودجه خزش معمولاً ناشی از مشکلات ساختاری است. مشکلات رایج عبارتند از:
- ناوبری فکتی (Faceted navigation) و پارامترهای URL.
- زنجیرههای فیلتر بیانتها یا تقویمها.
- خطاهای Soft 404.
- محتوای تکراری یا ضعیف (thin content).
- زنجیرههای طولانی ریدایرکت.
- زمان پاسخگویی کند سرور.
برای اصلاح بودجه خزش خود، این مراحل را دنبال کنید:
- صفحات تکراری را ادغام کرده و از canonical tags استفاده کنید.
- از robots.txt برای مسدود کردن URLهای غیرمهم استفاده کنید. برای این کار از noindex استفاده نکنید. گوگل باید یک صفحه را خزش کند تا تگ noindex را ببیند، که این کار همچنان بودجه را هدر میدهد.
- برای صفحات حذف شده، کدهای وضعیت 404 یا 410 را برگردانید.
- sitemapهای خود را با تاریخهای صحیح lastmod بهروزرسانی کنید.
- سرعت سرور خود را برای افزایش ظرفیت بهبود ببخشید.
برخی از کارشناسان پیشنهاد میکنند برای افزایش ترافیک، محتوای با کیفیت پایین را حذف کنید. یک مطالعه نشان داد که پس از حذف پستهای قدیمی و بدون ترافیک، بهبود ۶۷ درصدی حاصل شده است. مراقب باشید؛ حذف محتوا کیفیت و تمرکز سایت را بهبود میبخشد، اما یک ترفند تضمینشده برای رشد نیست.
بازیابی بودجه خزش درباره کارایی است. این کار تضمین میکند که گوگل صفحات برتر شما را سریع پیدا کند. این کار مستقیماً رتبهبندی شما را تغییر نمیدهد.
قبل از حذف هر چیزی، سایت خود را ممیزی (Audit) کنید. برای بهبود کیفیت هرس کنید، نه فقط برای رسیدن به یک عدد خاص.
منبع: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g