استرداد ميزانية الزحف (Crawl Budget Reclamation)
تقرر Google عدد عناوين URL التي تزحف إليها في موقعك. هذه هي ميزانية الزحف الخاصة بك، وهي تتكون من جزأين: سعة الزحف (crawl capacity) والطلب على الزحف (crawl demand).
تعتمد سعة الزحف على سرعة خادمك. إذا كان خادمك يستجيب بسرعة، فستقوم Google بالزحف بشكل أكبر.
يعتمد الطلب على الزحف على المحتوى الخاص بك. إذا ظل محتواك متجددًا وشائعًا، فستحتاج Google لرؤيته بشكل متكرر أكثر.
معظم المواقع الصغيرة لا تحتاج للقلق بشأن هذا الأمر. إذا كان لديك أقل من 10,000 صفحة، فبدلاً من ذلك ركز على إنشاء خريطة موقع (sitemap) جيدة.
تحتاج للتحرك فقط إذا كان لديك:
- أكثر من مليون صفحة فريدة.
- أكثر من 10,000 صفحة تتغير يوميًا.
- العديد من عناوين URL العالقة كـ "Discovered – currently not indexed" في Search Console.
عادةً ما تهدر ميزانية الزحف بسبب مشكلات هيكلية. وتشمل المشكلات الشائعة ما يلي:
- التنقل المتعدد الأوجه (Faceted navigation) ومعلمات URL.
- سلاسل الفلاتر (filter chains) أو التقاويم اللانهائية.
- أخطاء Soft 404.
- المحتوى المكرر أو الضعيف (thin content).
- سلاسل إعادة التوجيه الطويلة.
- بطء أوقات استجابة الخادم.
اتبع هذه الخطوات لإصلاح ميزانية الزحف الخاصة بك:
- دمج الصفحات المكررة واستخدام علامات canonical.
- استخدم robots.txt لحظر عناوين URL غير المهمة. لا تستخدم noindex لهذا الغرض؛ إذ يجب على Google الزحف إلى الصفحة لرؤية علامة noindex، مما يؤدي لاستهلاك الميزانية أيضًا.
- إرجاع رموز الحالة 404 أو 410 للصفحات المحذوفة.
- تحديث خرائط الموقع (sitemaps) الخاصة بك بتواريخ lastmod صحيحة.
- تحسين سرعة الخادم لزيادة السعة.
يقترح بعض الخبراء حذف المحتوى منخفض الجودة لزيادة حركة المرور. أظهرت إحدى الدراسات زيادة بنسبة 67% بعد حذف المنشورات القديمة التي لا تجلب أي زيارات. كن حذرًا؛ فحذف المحتوى يحسن جودة الموقع وتركيزه، لكنه ليس حيلة نمو مضمونة.
استرداد ميزانية الزحف يتعلق بالكفاءة؛ فهو يضمن عثور Google على أفضل صفحاتك بسرعة، لكنه لا يغير ترتيبك (rankings) بشكل مباشر.
قم بمراجعة موقعك قبل حذف أي شيء. قم بالتقليم (Pruning) من أجل الجودة، وليس فقط للوصول إلى رقم معين.
المصدر: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g