ਕ੍ਰੌਲ ਬਜਟ ਰੀਕਲੇਮੇਸ਼ਨ (Crawl Budget Reclamation)
Google ਇਹ ਫੈਸਲਾ ਕਰਦਾ ਹੈ ਕਿ ਉਹ ਤੁਹਾਡੀ ਸਾਈਟ 'ਤੇ ਕਿੰਨੇ URLs ਕ੍ਰੌਲ ਕਰੇਗਾ। ਇਹ ਤੁਹਾਡਾ ਕ੍ਰੌਲ ਬਜਟ ਹੈ। ਇਸਦੇ ਦੋ ਹਿੱਸੇ ਹਨ: ਕ੍ਰੌਲ ਸਮਰੱਥਾ (crawl capacity) ਅਤੇ ਕ੍ਰੌਲ ਮੰਗ (crawl demand)।
ਕ੍ਰੌਲ ਸਮਰੱਥਾ ਤੁਹਾਡੇ ਸਰਵਰ ਦੀ ਰਫ਼ਤਾਰ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ। ਜੇਕਰ ਤੁਹਾਡਾ ਸਰਵਰ ਤੇਜ਼ੀ ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ, ਤਾਂ Google ਵਧੇਰੇ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ।
ਕ੍ਰੌਲ ਮੰਗ ਤੁਹਾਡੇ ਕੰਟੈਂਟ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ। ਜੇਕਰ ਤੁਹਾਡਾ ਕੰਟੈਂਟ ਤਾਜ਼ਾ ਅਤੇ ਪ੍ਰਸਿੱਧ ਰਹਿੰਦਾ ਹੈ, ਤਾਂ Google ਇਸਨੂੰ ਵਾਰ-ਵਾਰ ਦੇਖਣਾ ਚਾਹੁੰਦਾ ਹੈ।
ਜ਼ਿਆਦਾਤਰ ਛੋਟੀਆਂ ਸਾਈਟਾਂ ਨੂੰ ਇਸ ਬਾਰੇ ਚਿੰਤਾ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ 10,000 ਤੋਂ ਘੱਟ ਪੇਜ ਹਨ, ਤਾਂ ਇਸਦੀ ਬਜਾਏ ਇੱਕ ਵਧੀਆ sitemap 'ਤੇ ਧਿਆਨ ਦਿਓ।
ਤੁਹਾਨੂੰ ਸਿਰਫ਼ ਉਦੋਂ ਕਾਰਵਾਈ ਕਰਨ ਦੀ ਲੋੜ ਹੈ ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਹਨ:
- 1 ਮਿਲੀਅਨ ਤੋਂ ਵੱਧ ਯੂਨੀਕ ਪੇਜ।
- 10,000 ਤੋਂ ਵੱਧ ਪੇਜ ਜੋ ਰੋਜ਼ਾਨਾ ਬਦਲਦੇ ਹਨ।
- Search Console ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ URLs "Discovered – currently not indexed" ਵਜੋਂ ਫਸੇ ਹੋਏ ਹਨ।
ਬਰਬਾਦ ਹੋਇਆ ਕ੍ਰੌਲ ਬਜਟ ਆਮ ਤੌਰ 'ਤੇ ਸੰਰਚਨਾਤਮਕ (structural) ਸਮੱਸਿਆਵਾਂ ਤੋਂ ਆਉਂਦਾ ਹੈ। ਆਮ ਸਮੱਸਿਆਵਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:
- Faceted navigation ਅਤੇ URL parameters।
- ਅਨੰਤ (Infinite) ਫਿਲਟਰ ਚੇਨਾਂ ਜਾਂ ਕੈਲੰਡਰ।
- Soft 404 errors।
- ਡੁਪਲੀਕੇਟ ਜਾਂ ਥਿਨ (thin) ਕੰਟੈਂਟ।
- ਲੰਬੀਆਂ ਰੀਡਾਇਰੈਕਟ ਚੇਨਾਂ।
- ਸਰਵਰ ਦੇ ਜਵਾਬ ਦੇਣ ਦਾ ਸੁਸਤ ਸਮਾਂ (Slow server response times)।
ਆਪਣੇ ਕ੍ਰੌਲ ਬਜਟ ਨੂੰ ਠੀਕ ਕਰਨ ਲਈ ਇਹਨਾਂ ਕਦਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰੋ:
- ਡੁਪਲੀਕੇਟ ਪੇਜਾਂ ਨੂੰ ਮਰਜ ਕਰੋ ਅਤੇ canonical tags ਦੀ ਵਰਤੋਂ ਕਰੋ।
- ਗੈਰ-ਮਹੱਤਵਪੂਰਨ URLs ਨੂੰ ਬਲਾਕ ਕਰਨ ਲਈ robots.txt ਦੀ ਵਰਤੋਂ ਕਰੋ। ਇਸਦੇ ਲਈ noindex ਦੀ ਵਰਤੋਂ ਨਾ ਕਰੋ। Google ਨੂੰ noindex ਟੈਗ ਦੇਖਣ ਲਈ ਪੇਜ ਨੂੰ ਕ੍ਰੌਲ ਕਰਨਾ ਪੈਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਬਜਟ ਫਿਰ ਵੀ ਬਰਬਾਦ ਹੁੰਦਾ ਹੈ।
- ਹਟਾਏ ਗਏ ਪੇਜਾਂ ਲਈ 404 ਜਾਂ 410 ਸਟੇਟਸ ਕੋਡ (status codes) ਵਾਪਸ ਕਰੋ।
- ਆਪਣੇ sitemaps ਨੂੰ ਸਹੀ lastmod ਮਿਤੀਆਂ ਨਾਲ ਅਪਡੇਟ ਕਰੋ।
- ਸਮਰੱਥਾ ਵਧਾਉਣ ਲਈ ਆਪਣੇ ਸਰਵਰ ਦੀ ਰਫ਼ਤਾਰ ਵਿੱਚ ਸੁਧਾਰ ਕਰੋ।
ਕੁਝ ਮਾਹਰ ਟ੍ਰੈਫਿਕ ਵਧਾਉਣ ਲਈ ਘੱਟ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਕੰਟੈਂਟ ਨੂੰ ਡਿਲੀਟ ਕਰਨ ਦਾ ਸੁਝਾਅ ਦਿੰਦੇ ਹਨ। ਇੱਕ ਅਧਿਐਨ ਨੇ ਪੁਰਾਣੀਆਂ, ਜ਼ੀਰੋ-ਟ੍ਰੈਫਿਕ ਵਾਲੀਆਂ ਪੋਸਟਾਂ ਨੂੰ ਡਿਲੀਟ ਕਰਨ ਤੋਂ ਬਾਅਦ 67% ਦਾ ਵਾਧਾ ਦਿਖਾਇਆ। ਸਾਵਧਾਨ ਰਹੋ। ਕੰਟੈਂਟ ਨੂੰ ਡਿਲੀਟ ਕਰਨ ਨਾਲ ਸਾਈਟ ਦੀ ਗੁਣਵੱਤਾ ਅਤੇ ਫੋਕਸ ਵਿੱਚ ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ, ਪਰ ਇਹ ਵਿਕਾਸ ਦੀ ਕੋਈ ਗਾਰੰਟੀਸ਼ੁਦਾ ਚਾਲ ਨਹੀਂ ਹੈ।
ਕ੍ਰੌਲ ਬਜਟ ਰੀਕਲੇਮੇਸ਼ਨ ਕੁਸ਼ਲਤਾ (efficiency) ਬਾਰੇ ਹੈ। ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ Google ਤੁਹਾਡੇ ਸਭ ਤੋਂ ਵਧੀਆ ਪੇਜਾਂ ਨੂੰ ਜਲਦੀ ਲੱਭ ਲਵੇ। ਇਹ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਤੁਹਾਡੀਆਂ ਰੈਂਕਿੰਗਾਂ ਨੂੰ ਨਹੀਂ ਬਦਲਦਾ।
ਕੁਝ ਵੀ ਡਿਲੀਟ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਆਪਣੀ ਸਾਈਟ ਦਾ ਆਡਿਟ ਕਰੋ। ਸਿਰਫ਼ ਇੱਕ ਨੰਬਰ ਤੱਕ ਪਹੁੰਚਣ ਲਈ ਨਹੀਂ, ਸਗੋਂ ਗੁਣਵੱਤਾ ਲਈ ਛਾਂਟੋ (Prune)।
ਸਰੋਤ: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g