5,000-SKU ವಿಸ್ತಾರವಿರುವ ಕೈಗಾರಿಕಾ ಉಪಕರಣಗಳ (industrial-tool) ಕ್ಯಾಟಲಾಗ್ನ ಆಡಿಟ್ ಒಂದನ್ನು ನಡೆಸಿದಾಗ, Googlebot ಸೈಟ್ನ ಫಿಲ್ಟರ್ URLಗಳನ್ನು ದಿನಕ್ಕೆ ಮೂರು ಬಾರಿ ಕ್ರಾಲ್ (crawl) ಮಾಡುತ್ತಿರುವುದು ಕಂಡುಬಂದಿತು, ಆದರೆ ಮುಖ್ಯ ವರ್ಗದ (main category) ಪುಟಗಳನ್ನು ಮೂರು ವಾರಕ್ಕೊಮ್ಮೆ ಮಾತ್ರ ಭೇಟಿ ಮಾಡಲಾಗುತ್ತಿತ್ತು. ಇದರ ಪರಿಣಾಮವೇನು? ಕ್ರಾಲರ್ ಕಡಿಮೆ ಮೌಲ್ಯದ URLಗಳಲ್ಲಿ ಸಿಲುಕಿಕೊಂಡಿದ್ದರಿಂದ, ಹೊಸ ಉತ್ಪನ್ನಗಳು ಸರ್ಚ್ ರಿಸಲ್ಟ್ಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳಲು ಒಂದು ತಿಂಸೆಯಷ್ಟು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತಿತ್ತು.
ಫ್ಯಾಸೆಟೆಡ್ ಸರ್ಚ್ (faceted search) ಕ್ರಾಲ್ ಬಜೆಟ್ಗೆ ಏಕೆ ಹಾನಿಕಾರಕ
ಫ್ಯಾಸೆಟೆಡ್ ಸರ್ಚ್ ಗ್ರಾಹಕರಿಗೆ ಮೆಟೀರಿಯಲ್, ಗಾತ್ರ, ಕೋಟಿಂಗ್ ಮತ್ತು ಇತರ ಗುಣಲಕ್ಷಣಗಳ ಆಧಾರದ ಮೇಲೆ ಫಲಿತಾಂಶಗಳನ್ನು ಸಂಕುಚಿತಗೊಳಿಸಲು (narrow) ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಪ್ರತಿ ಫ್ಯಾಸೆಟ್ URLಗೆ ಒಂದು ಪ್ಯಾರಾಮೀಟರ್ ಅನ್ನು ಸೇರಿಸುತ್ತದೆ, ಮತ್ತು ಐದು ಆಯಾಮಗಳಿದ್ದರೆ (dimensions), ಸಂಭವನೀಯ ಕಾಂಬಿನೇಶನ್ಗಳು ಹತ್ತಾರು ಸಾವಿರ ವಿಶಿಷ್ಟ ಪುಟಗಳಾಗಿ ವಿಸ್ತರಿಸುತ್ತವೆ. ಅವುಗಳಲ್ಲಿ ಹೆಚ್ಚಿನ ಪುಟಗಳು ಬಹುತೇಕ ಒಂದೇ ರೀತಿಯ ಉತ್ಪನ್ನ ಪಟ್ಟಿಯನ್ನು ಹೊಂದಿದ್ದರೂ, Google ಪ್ರತಿಯೊಂದನ್ನೂ ಪ್ರತ್ಯೇಕ URL ಎಂದು ಪರಿಗಣಿಸುತ್ತದೆ. Google ನ ಕ್ರಾಲ್ ಬಜೆಟ್ – ಅಂದರೆ ಸೈಟ್ನಲ್ಲಿ ಪ್ರತಿದಿನ ಅದು ಪಡೆಯುವ ಪುಟಗಳ ಸಂಖ್ಯೆ – ಸೀಮಿತವಾಗಿರುವುದರಿಂದ, ಬಳಕೆದಾರರಿಗೆ ಅಥವಾ ಸರ್ಚ್ಗೆ ಹೆಚ್ಚಿನ ಮೌಲ್ಯವನ್ನು ನೀಡದ URLಗಳಿಗಾಗಿ ಅದು ಅಮೂಲ್ಯವಾದ ಸಮಯವನ್ನು ವ್ಯರ್ಥ ಮಾಡುತ್ತದೆ.
ಸೈಟ್ನ URL ರಚನೆಯು ಬಾಟ್ ಅನ್ನು “ಕ್ರಾಲ್ ಟ್ರ್ಯಾಪ್” (crawl trap) ಗೆ ಆಹ್ವಾನಿಸುತ್ತದೆ, ಅಲ್ಲಿ ಅದು ಬಹುತೇಕ ಒಂದೇ ರೀತಿಯ (near-duplicate) ಪುಟಗಳಿಗೆ ಕೊಂಡಿಕೆಯನ್ನು ಅನುಸರಿಸುತ್ತಾ ಅಂತ್ಯವಿಲ್ಲದಂತೆ ಸಾಗುತ್ತದೆ.
ಅಪಾಯದಲ್ಲಿ ಏನಿದೆ
- ಇಂಡೆಕ್ಸಿಂಗ್ ವೇಗ (Indexing speed) – ಸಂಶೋಧನೆಯಲ್ಲಿ ವಿಳಂಬವಾದರೆ ಹೊಸ ದಾಸ್ತಾನು (inventory) ವಾರಗಟ್ಟಲೆ ಕಾಣಿಸದೆ ಇರುತ್ತದೆ, ಇದು ಮಾರಾಟಕ್ಕೆ ತೊಂದರೆ ನೀಡುತ್ತದೆ.
- ಸರ್ಚ್ ವಿಸಿಬಿಲಿಟಿ (Search visibility) – Google ತನ್ನ ಬಜೆಟ್ ಅನ್ನು ಫಿಲ್ಟರ್ ಪುಟಗಳಿಗಾಗಿ ಬಳಸಿದರೆ, ಹೆಚ್ಚಿನ ಆದ್ಯತೆಯ ಉತ್ಪನ್ನ ಪುಟಗಳನ್ನು ಎಂದಿಗೂ ಕ್ರಾಲ್ ಮಾಡದಿರಬಹುದು, ಇದು ಅವುಗಳ ರ್ಯಾಂಕ್ ಆಗುವ ಅವಕಾಶವನ್ನು ಸೀಮಿತಗೊಳಿಸುತ್ತದೆ.
ಕ್ರಾಲ್ ಬಜೆಟ್ ಅನ್ನು ಮರಳಿ ಪಡೆಯಲು ಹಂತ-ಹಂತದ ಮಾರ್ಗದರ್ಶಿ
ಹೆಚ್ಚಿನ ಮೌಲ್ಯವಿರುವ ಫ್ಯಾಸೆಟ್ಗಳನ್ನು ಗುರುತಿಸಿ
ನಿಜವಾದ ಸರ್ಚ್ ಟ್ರಾಫಿಕ್ ಅನ್ನು ಸೃಷ್ಟಿಸುವ ಫಿಲ್ಟರ್ ಕಾಂಬಿನೇಶನ್ಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಿ. ಅಂತಹ URLಗಳಿಗೆ ಸ್ವಚ್ಛವಾದ, ವಿವರಣಾತ್ಮಕ ಹಾದಿಯನ್ನು (ಉದಾಹರಣೆಗೆ,/end-mill/coating-tialn/) ನೀಡಿ. ಹೆಚ್ಚಿನ ಮೌಲ್ಯವಿರುವ ಪುಟಗಳನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಕ್ರಾಲಬಲ್ (crawlable) ಮತ್ತು ಇಂಡೆಕ್ಸಬಲ್ (indexable) ಆಗಿ ಇರಿಸಿ.ಮಧ್ಯಮ-ಮೌಲ್ಯದ ಫ್ಯಾಸೆಟ್ಗಳಿಗೆ ಕ್ಯಾನಾನಿಕಲ್ ಟ್ಯಾಗ್ಗಳನ್ನು (canonical tags) ಬಳಸಿ
ಒಂದು ಫಿಲ್ಟರ್ ಉಪಯುಕ್ತವಾಗಿದ್ದರೂ ಕಡಿಮೆ ಸರ್ಚ್ ವಾಲ್ಯೂಮ್ ಹೊಂದಿದ್ದರೆ, URL ಅನ್ನು ಸುಲಭವಾಗಿ ಲಭ್ಯವಾಗುವಂತೆ ಬಿಡಿ ಆದರೆ ಮುಖ್ಯ ವರ್ಗದ ಪುಟಕ್ಕೆ (main category page) ಸೂಚಿಸುವrel=canonicalಅನ್ನು ಸೇರಿಸಿ. ಇದು ವರ್ಗವೇ (category) ಆದ್ಯತೆಯ ಆವೃತ್ತಿ ಎಂದು Google ಗೆ ತಿಳಿಸುತ್ತದೆ.robots.txt ಮೂಲಕ ಕಡಿಮೆ ಮೌಲ್ಯದ ಫ್ಯಾಸೆಟ್ಗಳನ್ನು ನಿರ್ಬಂಧಿಸಿ
Googlebot ಅವುಗಳನ್ನು ಎಂದಿಗೂ ವಿನಂತಿಸದಂತೆrobots.txtನಲ್ಲಿ ಅಂತಹ ಪ್ಯಾಟರ್ನ್ಗಳನ್ನು 'Disallow' ಮಾಡಿ.ಅಡ್ವಾನ್ಸ್ಡ್ ಫಿಲ್ಟರ್ಗಳನ್ನು ಲಿಂಕ್ಗಳ ಬದಲಿಗೆ ಬಟನ್ಗಳಾಗಿ ತೋರಿಸಿ
ಬಾಟ್ಗಳು<a>ಎಲಿಮೆಂಟ್ಗಳನ್ನು ಅನುಸರಿಸುತ್ತವೆ ಆದರೆ<button>ಎಲಿಮೆಂಟ್ಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತವೆ. ಹೊಸ URLಗಳನ್ನು ರಚಿಸದೆ JavaScript ಅನ್ನು ಟ್ರಿಗ್ಗರ್ ಮಾಡುವ ಬಟನ್ಗಳ ಮೂಲಕ ಫಿಲ್ಟರ್ ನಿಯಂತ್ರಣಗಳನ್ನು ಒದಗಿಸಿ. ಬಳಕೆದಾರರಿಗೆ ಅಗತ್ಯವಿರುವ UI ಸಿಗುತ್ತದೆ, ಆದರೆ ಕ್ರಾಲರ್ ಅನಗತ್ಯ URLಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಸಾಧ್ಯವಾಗುವುದಿಲ್ಲ.“noindex” ಬಲೆಗೆ ಬೀಳಬೇಡಿ
30,000 ಫಿಲ್ಟರ್ URLಗಳಿಗೆnoindexಅನ್ನು ಸೇರಿಸಿದರೂ, Google ಮೊದಲು ಪ್ರತಿಯೊಂದು ಪುಟವನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡಬೇಕಾಗುತ್ತದೆ ಮತ್ತು ನಂತರ ಅದನ್ನು ನಿರ್ಲಕ್ಷಿಸಲು ಸೂಚನೆಯನ್ನು ಓದಬೇಕಾಗುತ್ತದೆ. ಕ್ರಾಲ್ ಅನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ನಿಲ್ಲಿಸಲುrobots.txtಬಳಸಿ; ನೀವು ಇಂಡೆಕ್ಸ್ ಮಾಡಲು ಉದ್ದೇಶಿಸಿರುವ ಪುಟಗಳು ಮಾತ್ರ ಲಭ್ಯವಿರಲಿ.
ಯಶಸ್ಸನ್ನು ಅಳೆಯುವುದು
ಗಮನವನ್ನು ರ್ಯಾಂಕಿಂಗ್ಗಳಿಂದ ಇಂಡೆಕ್ಸಿಂಗ್ ವೇಗಕ್ಕೆ ಬದಲಾಯಿಸಿ. ಬದಲಾವಣೆಗಳ ಮೊದಲು ಮತ್ತು ನಂತರ ಹೊಸದಾಗಿ ಸೇರಿಸಿದ ಉತ್ಪನ್ನವು Google ಇಂಡೆಕ್ಸ್ನಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳಲು ಎಷ್ಟು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ ಎಂಬುದನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ. 21 ದಿನಗಳ ವಿಳಂಬದಿಂದ 3 ದಿನಗಳ ವಿಳಂಬಕ್ಕೆ ಬದಲಾಗುವುದು ನಿಮ್ಮ ಕಾರ್ಯತಂತ್ರವು ಕೆಲಸ ಮಾಡುತ್ತಿದೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ.
ವಿರೋಧಾಭಿಪ್ರಾಯ: ಬಳಕೆಯ ಸುಲಭತೆ (usability) ವರ್ಸಸ್ ಕ್ರಾಲ್ ದಕ್ಷತೆ (crawl efficiency)
ಮೂಲ UI ಅನ್ನು ಹಾಗೆಯೇ ಇರಿಸಿ—ಬಟನ್ಗಳು ಬಳಕೆದಾರರಿಗೆ ಫಲಿತಾಂಶಗಳನ್ನು ಸುಧಾರಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತವೆ—ಅದೇ ಸಮಯದಲ್ಲಿ ಅಡಿಯಲ್ಲಿರುವ URLಗಳನ್ನು ಕ್ರಾಲರ್ಗೆ ಕಾಣಿಸದಂತೆ ಇರಿಸಿ. ಒಂದು ನಿರ್ದಿಷ್ಟ ಫಿಲ್ಟರ್ ನ್ಯಾವಿಗೇಶನ್ಗೆ ಅತ್ಯಗತ್ಯವೆಂದು ಕಂಡುಬಂದರೆ, ಅದನ್ನು ಹೆಚ್ಚಿನ ಮೌಲ್ಯದ ಫ್ಯಾಸೆಟ್ ಆಗಿ ಏರಿಸಿ ಮತ್ತು ಅದಕ್ಕೆ ಸ್ವಚ್ಛವಾದ, ಕ್ರಾಲಬಲ್ URL ನೀಡಿ.
ಮುಂದೆ ಏನನ್ನು ಗಮನಿಸಬೇಕು
- Search Console ಕ್ರಾಲ್ ಅಂಕಿಅಂಶಗಳು (crawl stats) – “Requests blocked by robots.txt” ನಲ್ಲಿನ ಕಡಿತ ಮತ್ತು ಉತ್ಪನ್ನ ಪುಟಗಳಿಗಾಗಿ “Crawl depth” ನಲ್ಲಿನ ಹೆಚ್ಚಳವನ್ನು ಗಮನಿಸಲು “Crawl Stats” ವರದಿಯನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ.
ಸಾರಾಂಶ: ಫ್ಯಾಸೆಟ್ಗಳನ್ನು ವರ್ಗೀಕರಿಸಿ, ಕ್ಯಾನಾನಿಕಲ್ ಟ್ಯಾಗ್ಗಳನ್ನು ಬಳಸಿ, ಕಡಿಮೆ ಮೌಲ್ಯದ URLಗಳನ್ನು ನಿರ್ಬಂಧಿಸಿ ಮತ್ತು ಲಿಂಕ್ಗಳ ಬದಲಿಗೆ ಬಟನ್ಗಳನ್ನು ಬಳಸಿ. ದೊಡ್ಡ ಇ-ಕಾಮರ್ಸ್ ಸೈಟ್ಗಳು ಗ್ರಾಹಕರ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಬಲಿ ಕೊಡದೆ, ಇಂಡೆಕ್ಸಿಂಗ್ ಸಮಯವನ್ನು ವಾರಗಳಿಂದ ದಿನಗಳಿಗೆ ಕಡಿತಗೊಳಿಸುವ ಮೂಲಕ Googlebot ಅನ್ನು ಪ್ರಮುಖವಾದ ಪುಟಗಳ ಕಡೆಗೆ ತಿರುಗಿಸಬಹುದು.