ಕ್ರಾಲ್ ಬಜೆಟ್ ಮರುಪಡೆಯುವಿಕೆ (Crawl Budget Reclamation)
ಗೂಗಲ್ ನಿಮ್ಮ ಸೈಟ್ನಲ್ಲಿ ಎಷ್ಟು URLಗಳನ್ನು ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ. ಇದನ್ನೇ ನಿಮ್ಮ ಕ್ರಾಲ್ ಬಜೆಟ್ (crawl budget) ಎನ್ನಲಾಗುತ್ತದೆ. ಇದು ಎರಡು ಭಾಗಗಳನ್ನು ಒಳಗೊಂಡಿದೆ: ಕ್ರಾಲ್ ಸಾಮರ್ಥ್ಯ (crawl capacity) ಮತ್ತು ಕ್ರಾಲ್ ಬೇಡಿಕೆ (crawl demand).
ಕ್ರಾಲ್ ಸಾಮರ್ಥ್ಯವು ನಿಮ್ಮ ಸರ್ವರ್ ವೇಗವನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆ. ನಿಮ್ಮ ಸರ್ವರ್ ವೇಗವಾಗಿ ಪ್ರತಿಕ್ರಿಯಿಸಿದರೆ, ಗೂಗಲ್ ಹೆಚ್ಚು ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ.
ಕ್ರಾಲ್ ಬೇಡಿಕೆಯು ನಿಮ್ಮ ಕಂಟೆಂಟ್ (content) ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ. ನಿಮ್ಮ ಕಂಟೆಂಟ್ ಹೊಸದಾಗಿದ್ದರೆ ಮತ್ತು ಜನಪ್ರಿಯವಾಗಿದ್ದರೆ, ಗೂಗಲ್ ಅದನ್ನು ಪದೇ ಪದೇ ನೋಡಲು ಬಯಸುತ್ತದೆ.
ಹೆಚ್ಚಿನ ಸಣ್ಣ ಸೈಟ್ಗಳು ಇದರ ಬಗ್ಗೆ ಚಿಂತಿಸುವ ಅಗತ್ಯವಿಲ್ಲ. ನಿಮ್ಮ ಸೈಟ್ನಲ್ಲಿ 10,000 ಕ್ಕಿಂತ ಕಡಿಮೆ ಪುಟಗಳಿದ್ದರೆ, ಬದಲಾಗಿ ಉತ್ತಮ ಸೈಟ್ಮ್ಯಾಪ್ (sitemap) ಮೇಲೆ ಗಮನ ಹರಿಸಿ.
ಈ ಕೆಳಗಿನ ಸಂದರ್ಭಗಳಲ್ಲಿ ಮಾತ್ರ ನೀವು ಕ್ರಮ ತೆಗೆದುಕೊಳ್ಳಬೇಕಾಗುತ್ತದೆ:
- 1 ಮಿಲಿಯನ್ಗಿಂತ ಹೆಚ್ಚು ವಿಶಿಷ್ಟ (unique) ಪುಟಗಳಿದ್ದರೆ.
- ಪ್ರತಿದಿನ ಬದಲಾಗುವ 10,000 ಕ್ಕಿಂತ ಹೆಚ್ಚು ಪುಟಗಳಿದ್ದರೆ.
- Search Console ನಲ್ಲಿ ಅನೇಕ URLಗಳು "Discovered – currently not indexed" ಎಂದು ಸ್ಥಗಿತಗೊಂಡಿದ್ದರೆ.
ವ್ಯರ್ಥವಾದ ಕ್ರಾಲ್ ಬಜೆಟ್ ಸಾಮಾನ್ಯವಾಗಿ ರಚನಾತ್ಮಕ ಸಮಸ್ಯೆಗಳಿಂದ (structural issues) ಉಂಟಾಗುತ್ತದೆ. ಸಾಮಾನ್ಯ ಸಮಸ್ಯೆಗಳು ಹೀಗಿವೆ:
- Faceted navigation ಮತ್ತು URL parameters.
- ಅನಂತ ಫಿಲ್ಟರ್ ಚೈನ್ಗಳು (infinite filter chains) ಅಥವಾ ಕ್ಯಾಲೆಂಡರ್ಗಳು.
- Soft 404 ದೋಷಗಳು (errors).
- ಡೂಪ್ಲಿಕೇಟ್ ಅಥವಾ ಥಿನ್ ಕಂಟೆಂಟ್ (thin content).
- ಉದ್ದವಾದ ರಿಡೈರೆಕ್ಟ್ ಚೈನ್ಗಳು (redirect chains).
- ನಿಧಾನಗತಿಯ ಸರ್ವರ್ ಪ್ರತಿಕ್ರಿಯೆ ಸಮಯ.
ನಿಮ್ಮ ಕ್ರಾಲ್ ಬಜೆಟ್ ಅನ್ನು ಸರಿಪಡಿಸಲು ಈ ಹಂತಗಳನ್ನು ಅನುಸರಿಸಿ:
- ಡೂಪ್ಲಿಕೇಟ್ ಪುಟಗಳನ್ನು ವಿಲೀನಗೊಳಿಸಿ ಮತ್ತು canonical tags ಬಳಸಿ.
- ಅಪ್ರಮುಖ URLಗಳನ್ನು ತಡೆಯಲು robots.txt ಬಳಸಿ. ಇದಕ್ಕಾಗಿ noindex ಬಳಸಬೇಡಿ. ಗೂಗಲ್ ಒಂದು ಪುಟವನ್ನು ಕ್ರಾಲ್ ಮಾಡಿದ ನಂತರವೇ noindex ಟ್ಯಾಗ್ ಅನ್ನು ನೋಡಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ, ಇದು ಬಜೆಟ್ ಅನ್ನು ವ್ಯರ್ಥ ಮಾಡುತ್ತದೆ.
- ತೆಗೆದುಹಾಕಲಾದ ಪುಟಗಳಿಗೆ 404 ಅಥವಾ 410 ಸ್ಟೇಟಸ್ ಕೋಡ್ಗಳನ್ನು (status codes) ನೀಡಿ.
- ನಿಮ್ಮ ಸೈಟ್ಮ್ಯಾಪ್ಗಳನ್ನು ಸರಿಯಾದ lastmod ದಿನಾಂಕಗಳೊಂದಿಗೆ ಅಪ್ಡೇಟ್ ಮಾಡಿ.
- ಸಾಮರ್ಥ್ಯವನ್ನು ಹೆಚ್ಚಿಸಲು ನಿಮ್ಮ ಸರ್ವರ್ ವೇಗವನ್ನು ಸುಧಾರಿಸಿ.
ಟ್ರಾಫಿಕ್ ಹೆಚ್ಚಿಸಲು ಕೆಲವು ತಜ್ಞರು ಕಡಿಮೆ ಗುಣಮಟ್ಟದ ಕಂಟೆಂಟ್ ಅನ್ನು ಡಿಲೀಟ್ ಮಾಡಲು ಸೂಚಿಸುತ್ತಾರೆ. ಹಳೆಯದಾದ ಮತ್ತು ಶೂನ್ಯ ಟ್ರಾಫಿಕ್ ಹೊಂದಿರುವ ಪೋಸ್ಟ್ಗಳನ್ನು ಡಿಲೀಟ್ ಮಾಡಿದ ನಂತರ 67% ಏರಿಕೆ ಕಂಡುಬಂದಿದೆ ಎಂದು ಒಂದು ಅಧ್ಯಯನ ತೋರಿಸಿದೆ. ಆದರೆ ಎಚ್ಚರಿಕೆಯಿಂದಿರಿ. ಕಂಟೆಂಟ್ ಡಿಲೀಟ್ ಮಾಡುವುದು ಸೈಟ್ನ ಗುಣಮಟ್ಟ ಮತ್ತು ಗಮನವನ್ನು ಸುಧಾರಿಸುತ್ತದೆ, ಆದರೆ ಇದು ಬೆಳವಣಿಗೆಗೆ ಖಚಿತವಾದ ಉಪಾಯವಲ್ಲ.
ಕ್ರಾಲ್ ಬಜೆಟ್ ಮರುಪಡೆಯುವಿಕೆಯು ದಕ್ಷತೆಯ (efficiency) ಬಗ್ಗೆಯಾಗಿದೆ. ಇದು ಗೂಗಲ್ ನಿಮ್ಮ ಅತ್ಯುತ್ತಮ ಪುಟಗಳನ್ನು ಶೀಘ್ರವಾಗಿ ಪತ್ತೆಹಚ್ಚುವುದನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ. ಇದು ನಿಮ್ಮ ರ್ಯಾಂಕಿಂಗ್ಗಳನ್ನು (rankings) ನೇರವಾಗಿ ಬದಲಾಯಿಸುವುದಿಲ್ಲ.
ಏನನ್ನಾದರೂ ಡಿಲೀಟ್ ಮಾಡುವ ಮೊದಲು ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ಆಡಿಟ್ (audit) ಮಾಡಿ. ಕೇವಲ ಒಂದು ಸಂಖ್ಯೆಯನ್ನು ತಲುಪಲು ಮಾಡಬೇಡಿ, ಗುಣಮಟ್ಟಕ್ಕಾಗಿ ಮಾತ್ರ ಕಂಟೆಂಟ್ ಅನ್ನು ಕತ್ತರಿಸಿ (prune).
ಮೂಲ: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g