5,000-SKU ਵਾਲੇ ਇੱਕ ਉਦਯੋਗਿਕ-ਔਜ਼ਾਰ (industrial-tool) ਕੈਟਾਲਾਗ ਦੇ ਆਡਿਟ ਤੋਂ ਪਤਾ ਲੱਗਾ ਕਿ Googlebot ਸਾਈਟ ਦੇ ਫਿਲਟਰ URLs ਨੂੰ ਦਿਨ ਵਿੱਚ ਤਿੰਨ ਵਾਰ ਕਰੌਲ (crawl) ਕਰ ਰਿਹਾ ਸੀ, ਜਦੋਂ ਕਿ ਮੁੱਖ ਕੈਟਾਗਰੀ ਪੇਜਾਂ 'ਤੇ ਹਰ ਤਿੰਨ ਹਫ਼ਤਿਆਂ ਵਿੱਚ ਸਿਰਫ਼ ਇੱਕ ਵਾਰ ਹੀ ਵਿਜ਼ਿਟ ਕੀਤਾ ਜਾਂਦਾ ਸੀ। ਨਤੀਜਾ? ਨਵੇਂ ਉਤਪਾਦਾਂ ਨੂੰ ਸਰਚ ਰਿਜ਼ਲਟ ਵਿੱਚ ਦਿਖਾਈ ਦੇਣ ਲਈ ਇੱਕ ਮਹੀਨਾ ਲੱਗ ਗਿਆ ਕਿਉਂਕਿ ਕਰੌਲਰ ਘੱਟ-ਮੁੱਲ ਵਾਲੇ URLs 'ਤੇ ਫਸਿਆ ਹੋਇਆ ਸੀ।
ਫੈਸਿਟਡ ਸਰਚ (faceted search) ਕਰੌਲ ਬਜਟ ਨੂੰ ਕਿਉਂ ਨੁਕਸਾਨ ਪਹੁੰਚਾਉਂਦੀ ਹੈ
ਫੈਸਿਟਡ ਸਰਚ ਖਰੀਦਦਾਰਾਂ ਨੂੰ ਸਮੱਗਰੀ (material), ਆਕਾਰ (size), ਕੋਟਿੰਗ (coating) ਅਤੇ ਹੋਰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੁਆਰਾ ਨਤੀਜਿਆਂ ਨੂੰ ਤੰਗ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ। ਹਰ ਫੈਸਿਟ (facet) URL ਵਿੱਚ ਇੱਕ ਪੈਰਾਮੀਟਰ ਜੋੜਦੀ ਹੈ, ਅਤੇ ਪੰਜ ਪਸੰਦਾਂ (dimensions) ਦੇ ਨਾਲ, ਸੰਭਵ ਸੁਮੇਲ ਦਸ ਹਜ਼ਾਰਾਂ ਵਿਲੱਖਣ ਪੇਜਾਂ ਵਿੱਚ ਬਦਲ ਜਾਂਦੇ ਹਨ। ਉਹਨਾਂ ਵਿੱਚੋਂ ਜ਼ਿਆਦਾਤਰ ਪੇਜਾਂ ਵਿੱਚ ਲਗਭਗ ਇੱਕੋ ਜਿਹੀ ਉਤਪਾਦ ਸੂਚੀ ਹੁੰਦੀ ਹੈ, ਫਿਰ ਵੀ Google ਹਰੇਕ ਨੂੰ ਇੱਕ ਵੱਖਰੇ URL ਵਜੋਂ ਮੰਨਦਾ ਹੈ। ਕਿਉਂਕਿ Google ਦਾ ਕਰੌਲ ਬਜਟ - ਉਹ ਗਿਣਤੀ ਜੋ ਉਹ ਹਰ ਰੋਜ਼ ਇੱਕ ਸਾਈਟ 'ਤੇ ਫੈਚ (fetch) ਕਰੇਗਾ - ਸੀਮਤ ਹੈ, ਇਸ ਲਈ ਇਹ ਉਹਨਾਂ URLs 'ਤੇ ਕੀਮਤੀ ਸਲਾਟ ਖਰਚ ਕਰਦਾ ਹੈ ਜੋ ਉਪਭੋਗਤਾਵਾਂ ਜਾਂ ਸਰਚ ਲਈ ਬਹੁਤ ਘੱਟ ਮੁੱਲ ਜੋੜਦੇ ਹਨ।
ਸਾਈਟ ਦਾ URL ਢਾਂਚਾ ਬੋਟ ਨੂੰ ਇੱਕ “ਕਰੌਲ ਟ੍ਰੈਪ” (crawl trap) ਵਿੱਚ ਬੁਲਾਉਂਦਾ ਹੈ ਜਿੱਥੇ ਇਹ ਲਗਾਤਾਰ ਉਹਨਾਂ ਲਿੰਕਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ ਜੋ ਲਗਭਗ ਇੱਕੋ ਜਿਹੇ (near-duplicate) ਪੇਜਾਂ ਵੱਲ ਲੈ ਜਾਂਦੇ ਹਨ।
ਕੀ ਖਤਰੇ ਵਿੱਚ ਹੈ
- ਇੰਡੈਕਸਿੰਗ ਦੀ ਰਫ਼ਤਾਰ – ਦੇਰੀ ਨਾਲ ਖੋਜ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਨਵਾਂ ਸਟਾਕ ਹਫ਼ਤਿਆਂ ਤੱਕ ਅਦਿੱਖ ਰਹਿੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਵਿਕਰੀ ਨੂੰ ਨੁਕਸਾਨ ਹੁੰਦਾ ਹੈ।
- ਸਰਚ ਵਿਜ਼ੀਬਿਲਟੀ – ਜੇਕਰ Google ਆਪਣਾ ਬਜਟ ਫਿਲਟਰ ਪੇਜਾਂ 'ਤੇ ਖਰਚ ਕਰਦਾ ਹੈ, ਤਾਂ ਉੱਚ-ਪ੍ਰਾਥਮਿਕਤਾ ਵਾਲੇ ਉਤਪਾਦ ਪੇਜ ਕਦੇ ਵੀ ਕਰੌਲ ਨਹੀਂ ਕੀਤੇ ਜਾ ਸਕਦੇ, ਜਿਸ ਨਾਲ ਉਹਨਾਂ ਦੇ ਰੈਂਕ ਹੋਣ ਦੀ ਸੰਭਾਵਨਾ ਸੀਮਤ ਹੋ ਜਾਂਦੀ ਹੈ।
ਕਰੌਲ ਬਜਟ ਨੂੰ ਮੁੜ ਹਾਸਲ ਕਰਨ ਲਈ ਇੱਕ ਸਟੈਪ-ਬਾਈ-ਸਟੈਪ ਗਾਈਡ
ਉੱਚ-ਮੁੱਲ ਵਾਲੇ ਫੈਸਿਟਸ (facets) ਦੀ ਪਛਾਣ ਕਰੋ
ਫਿਲਟਰ ਦੇ ਉਹ ਸੁਮੇਲ ਲੱਭੋ ਜੋ ਅਸਲ ਸਰਚ ਟ੍ਰੈਫਿਕ ਪੈਦਾ ਕਰਦੇ ਹਨ। ਉਹਨਾਂ URLs ਨੂੰ ਇੱਕ ਸਾਫ਼ ਅਤੇ ਵਰਣਨਾਤਮਕ ਪਾਥ (path) ਦਿਓ (ਉਦਾਹਰਨ ਲਈ,/end-mill/coating-tialn/)। ਉੱਚ-ਮੁੱਲ ਵਾਲੇ ਪੇਜਾਂ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਕਰੌਲੇਬਲ (crawlable) ਅਤੇ ਇੰਡੈਕਸੇਬਲ (indexable) ਰੱਖੋ।ਦਰਮਿਆਨੇ-ਮੁੱਲ ਵਾਲੇ ਫੈਸਿਟਸ ਨੂੰ ਕੈਨੋਨੀਕਲ ਟੈਗਸ (canonical tags) ਨਾਲ ਸੰਭਾਲੋ
ਜਦੋਂ ਕੋਈ ਫਿਲਟਰ ਉਪਯੋਗੀ ਹੁੰਦਾ ਹੈ ਪਰ ਸਰਚ ਵਾਲੀਅਮ ਘੱਟ ਹੁੰਦਾ ਹੈ, ਤਾਂ URL ਨੂੰ ਉਪਲਬਧ ਰਹਿਣ ਦਿਓ ਪਰ ਇੱਕrel=canonicalਜੋੜੋ ਜੋ ਮੁੱਖ ਕੈਟਾਗਰੀ ਪੇਜ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦਾ ਹੋਵੇ। ਇਹ Google ਨੂੰ ਦੱਸਦਾ ਹੈ ਕਿ ਕੈਟਾਗਰੀ ਹੀ ਪਸੰਦੀਦਾ ਵਰਜ਼ਨ ਹੈ।robots.txt ਰਾਹੀਂ ਘੱਟ-ਮੁੱਲ ਵਾਲੇ ਫੈਸਿਟਸ ਨੂੰ ਬਲੌਕ ਕਰੋ
robots.txtਵਿੱਚ ਉਹਨਾਂ ਪੈਟਰਨਾਂ ਨੂੰ Disallow ਕਰੋ ਤਾਂ ਜੋ Googlebot ਕਦੇ ਵੀ ਉਹਨਾਂ ਦੀ ਬੇਨਤੀ ਨਾ ਕਰੇ।ਐਡਵਾਂਸਡ ਫਿਲਟਰਾਂ ਨੂੰ ਲਿੰਕਾਂ ਦੀ ਬਜਾਏ ਬਟਨਾਂ ਵਜੋਂ ਦਿਖਾਓ
ਬੋਟ<aਐਲੀਮੈਂਟਸ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ ਪਰ<buttonਐਲੀਮੈਂਟਸ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰ ਦਿੰਦੇ ਹਨ। ਫਿਲਟਰ ਕੰਟਰੋਲ ਨੂੰ ਬਟਨਾਂ ਵਜੋਂ ਪ੍ਰਦਾਨ ਕਰੋ ਜੋ ਨਵੇਂ URLs ਬਣਾਏ ਬਿਨਾਂ JavaScript ਨੂੰ ਟ੍ਰਿਗਰ ਕਰਦੇ ਹਨ। ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਉਹ UI ਮਿਲਦਾ ਰਹੇਗਾ ਜਿਸਦੀ ਉਹਨਾਂ ਨੂੰ ਲੋੜ ਹੈ, ਜਦੋਂ ਕਿ ਕਰੌਲਰ ਫਾਲਤੂ URLs ਦੀ ਖੋਜ ਨਹੀਂ ਕਰ ਸਕੇਗਾ।“noindex” ਜਾਲ ਤੋਂ ਬਚੋ
30,000 ਫਿਲਟਰ URLs ਵਿੱਚnoindexਜੋੜਨ ਨਾਲ ਵੀ Google ਨੂੰ ਪਹਿਲਾਂ ਹਰੇਕ ਪੇਜ ਡਾਊਨਲੋਡ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕਰਨਾ ਪੈਂਦਾ ਹੈ, ਫਿਰ ਉਹ ਇਸ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨ ਲਈ ਡਾਇਰੈਕਟਿਵ ਪੜ੍ਹਦਾ ਹੈ। ਕਰੌਲ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਰੋਕਣ ਲਈrobots.txtਦੀ ਵਰਤੋਂ ਕਰੋ; ਸਿਰਫ਼ ਉਹ ਪੇਜ ਹੀ ਪਹੁੰਚਯੋਗ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ ਇੰਡੈਕਸ ਕਰਨ ਦਾ ਇਰਾਦਾ ਰੱਖਦੇ ਹੋ।
ਸਫਲਤਾ ਨੂੰ ਮਾਪਣਾ
ਫੋਕਸ ਨੂੰ ਰੈਂਕਿੰਗ ਤੋਂ ਹਟਾ ਕੇ ਇੰਡੈਕਸਿੰਗ ਦੀ ਰਫ਼ਤਾਰ 'ਤੇ ਲਿਆਓ। ਬਦਲਾਅ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਇਸ ਗੱਲ ਨੂੰ ਟ੍ਰੈਕ ਕਰੋ ਕਿ ਨਵੇਂ ਜੋੜੇ ਗਏ ਉਤਪਾਦ ਨੂੰ Google ਦੇ ਇੰਡੈਕਸ ਵਿੱਚ ਦਿਖਾਈ ਦੇਣ ਲਈ ਕਿੰਨਾ ਸਮਾਂ ਲੱਗਦਾ ਹੈ। 21-ਦਿਨ ਦੇ ਦੇਰੀ ਤੋਂ 3-ਦਿਨ ਦੀ ਦੇਰੀ ਤੱਕ ਦਾ ਸਫ਼ਰ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਰਣਨੀਤੀ ਕੰਮ ਕਰ ਰਹੀ ਹੈ।
ਵਿਰੋਧੀ-ਦ੍ਰਿਸ਼ਟੀਕੋਣ: ਵਰਤੋਂਯੋਗਤਾ (usability) ਬਨਾਮ ਕਰੌਲ ਕੁਸ਼ਲਤਾ (crawl efficiency)
UI ਨੂੰ ਅਟੁੱਟ ਰੱਖੋ—ਬਟਨਾਂ ਨਾਲ ਉਪਭੋਗਤਾ ਅਜੇ ਵੀ ਨਤੀਜਿਆਂ ਨੂੰ ਰਿਫਾਈਨ ਕਰ ਸਕਦੇ ਹਨ—ਜਦੋਂ ਕਿ ਅੰਡਰਲਾਈਂ URLs ਨੂੰ ਕਰੌਲਰ ਲਈ ਅਦਿੱਖ ਰੱਖਿਆ ਜਾਵੇ। ਜੇਕਰ ਕੋਈ ਖਾਸ ਫਿਲਟਰ ਨੈਵੀਗੇਸ਼ਨ ਲਈ ਜ਼ਰੂਰੀ ਸਾਬਤ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਇਸਨੂੰ ਉੱਚ-ਮੁੱਲ ਵਾਲੇ ਫੈਸਿਟ ਵਜੋਂ ਪ੍ਰਮੋਟ ਕਰੋ ਅਤੇ ਇਸਨੂੰ ਇੱਕ ਸਾਫ਼, ਕਰੌਲੇਬਲ URL ਦਿਓ।
ਅੱਗੇ ਕੀ ਦੇਖਣਾ ਹੈ
- Search Console ਕਰੌਲ ਸਟੈਟਸ – “Requests blocked by robots.txt” ਵਿੱਚ ਕਮੀ ਅਤੇ ਉਤਪਾਦ ਪੇਜਾਂ ਲਈ “Crawl depth” ਵਿੱਚ ਵਾਧੇ ਲਈ “Crawl Stats” ਰਿਪੋਰਟ ਦੀ ਨਿਗਰਾਨੀ ਕਰੋ।
ਸਿੱਖਿਆ (Takeaway): ਫੈਸਿਟਸ ਨੂੰ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰੋ, ਕੈਨੋਨੀਕਲ ਟੈਗਸ ਦੀ ਵਰਤੋਂ ਕਰੋ, ਘੱਟ-ਮੁੱਲ ਵਾਲੇ URLs ਨੂੰ ਬਲੌਕ ਕਰੋ, ਅਤੇ ਲਿੰਕਾਂ ਦੀ ਜਗ੍ਹਾ ਬਟਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰੋ। ਵੱਡੀਆਂ ਈ-ਕਾਮਰਸ ਸਾਈਟਾਂ Googlebot ਨੂੰ ਉਹਨਾਂ ਪੇਜਾਂ ਵੱਲ ਮੋੜ ਸਕਦੀਆਂ ਹਨ ਜੋ ਮਹੱਤਵਪੂਰਨ ਹਨ, ਜਿਸ ਨਾਲ ਖਰੀਦਦਾਰਾਂ ਦੀ ਕਾਰਜਕੁਸ਼ਲਤਾ ਨਾਲ ਸਮਝੌਤਾ ਕੀਤੇ ਬਿਨਾਂ ਇੰਡੈਕਸਿੰਗ ਦੇ ਸਮੇਂ ਨੂੰ ਹਫ਼ਤਿਆਂ ਤੋਂ ਦਿਨਾਂ ਵਿੱਚ ਬਦਲਿਆ ਜਾ ਸਕਦਾ ਹੈ।