ಮಾರುಕಟ್ಟೆಯ SEO ತಂಡವು ತನ್ನ ಇಂಡೆಕ್ಸಿಂಗ್ ನಿಯಮವನ್ನು ಮರುಬರೆಯಿತು; ಏಕೆಂದರೆ "fewer-than-3-listings = noindex" ಎಂಬ ಸರಳ ನೀತಿಯು ವರ್ಗ ಪುಟಗಳು (category pages) ಗೂಗಲ್ನಿಂದ ಮಾಯವಾಗಲು ಮತ್ತು ಅವು ಮರಳಿ ಬರಲು ವಾರಗಟ್ಟಲೆ ತೆಗೆದುಕೊಳ್ಳುವಂತೆ ಮಾಡಿತು. ಒಂದು ಪುಟವು noindex ನಿಂದ index ಗೆ ಚಲಿಸಲು ಅನುಮತಿಸುವ ಆದರೆ ಎಂದಿಗೂ ಹಿಂತಿರುಗದ ಏಕಮುಖ "ಅನ್ಲಾಕ್" (unlock) ದಾಖಲೆಯನ್ನು ಸೇರಿಸುವ ಮೂಲಕ, ಸೈಟ್ ಈ ಅಸ್ಥಿರತೆಯನ್ನು ತಡೆಗಟ್ಟಿತು.
ಮೂಲ ನಿಯಮವು ಏಕೆ ವಿಫಲವಾಯಿತು
ಕ್ಲಾಸಿಫೈಡ್ಸ್ ಪ್ಲಾಟ್ಫಾರ್ಮ್ ಅನೇಕ ವರ್ಗ ಮತ್ತು ಸ್ಥಳದ ಪುಟಗಳನ್ನು (category-and-location pages) ಸೃಷ್ಟಿಸುತ್ತದೆ. ಒಂದು ಪುಟವು ಮೊದಲ ಬಾರಿಗೆ ಕಾಣಿಸಿಕೊಂಡಾಗ, ಅದರಲ್ಲಿ ಕೇವಲ ಕೆಲವು ಲಿಸ್ಟಿಂಗ್ಗಳು ಮಾತ್ರ ಇರುತ್ತವೆ, ಆದ್ದರಿಂದ ಲಿಸ್ಟಿಂಗ್ಗಳ ಸಂಖ್ಯೆ ಕನಿಷ್ಠ ಮೂರನ್ನು ತಲುಪುವವರೆಗೆ ಅದನ್ನು ಸರ್ಚ್ ಇಂಜಿನ್ನಿಂದ ಮರೆಮಾಚಲು ತಂಡ ನಿರ್ಧರಿಸಿತು. ಇದರ ತರ್ಕವು ಸರಳವಾಗಿತ್ತು:
- < 3 listings →
noindexಮೆಟಾ ಟ್ಯಾಗ್ ಅನ್ನು ಸೇರಿಸಿ - ≥ 3 listings → ಟ್ಯಾಗ್ ಅನ್ನು ತೆಗೆದುಹಾಕಿ (ಇಂಡೆಕ್ಸಿಂಗ್ ಮಾಡಲು ಅನುಮತಿಸಿ)
ಆರಂಭದಲ್ಲಿ ಇದು ಕಡಿಮೆ ಮೌಲ್ಯದ ಪುಟಗಳನ್ನು ಗೂಗಲ್ ಫಲಿತಾಂಶಗಳಿಂದ ದೂರವಿರಿಸಿತು. ಆದರೆ ಲಿಸ್ಟಿಂಗ್ಗಳ ಅವಧಿ ಮುಗಿದಂತೆ ಸಮಸ್ಯೆ ಎದುರಾಯಿತು. ಒಂದು ದಿನ ಐದು ಲಿಸ್ಟಿಂಗ್ಗಳಿದ್ದ ಪುಟವು ಮರುದಿನ ಎರಡು ಲಿಸ್ಟಿಂಗ್ಗಳಿಗೆ ಇಳಿಕೆಯಾದರೆ, ಅದು ತಕ್ಷಣವೇ ಮತ್ತೆ noindex ಸ್ಥಿತಿಗೆ ಬದಲಾಗುತ್ತಿತ್ತು. ಗೂಗಲ್ ಇದನ್ನು ಪಾಲಿಸಿ, ತನ್ನ ಇಂಡೆಕ್ಸ್ನಿಂದ URL ಅನ್ನು ತೆಗೆದುಹಾಕಿತು ಮತ್ತು ಆ ಪುಟವು ಗಳಿಸಿದ್ದ ಎಲ್ಲಾ ರ್ಯಾಂಕಿಂಗ್ಗಳನ್ನು ಕಳೆದುಕೊಂಡಿತು. ಹೊಸ ಲಿಸ್ಟಿಂಗ್ ಬಂದಾಗ, ಪುಟವು ಮತ್ತೆ ಇಂಡೆಕ್ಸಿಂಗ್ ಮಾಡಬಹುದಾದ ಸ್ಥಿತಿಗೆ ಬರುತ್ತಿತ್ತು, ಆದರೆ ಮರಳಿ ಪ್ರವೇಶಿಸುವ ಪ್ರಕ್ರಿಯೆಗೆ ವಾರಗಟ್ಟಲೆ ಬೇಕಾಗುತ್ತಿತ್ತು.
ಇದರ ಪರಿಣಾಮವಾಗಿ ನಿರಂತರ "ಆನ್-ಆಫ್" ಚಕ್ರ ಉಂಟಾಯಿತು: ಪುಟಗಳು ಇಂಡೆಕ್ಸ್ನಲ್ಲಿ ಪ್ರವೇಶಿಸುತ್ತಿದ್ದವು, ಕಣ್ಮರೆಯಾಗುತ್ತಿದ್ದವು, ಮತ್ತೆ ಪ್ರವೇಶಿಸುತ್ತಿದ್ದವು ಮತ್ತು ಹೀಗೆಯೇ ಮುಂದುವರಿಯುತ್ತಿದ್ದವು.
ಏಕಮುಖ “ಅನ್ಲಾಕ್” ಪರಿಹಾರ
ಈ ನಿಯಮದ ಮೂಲ ದೋಷವೆಂದರೆ ಅದಕ್ಕೆ ಯಾವುದೇ ನೆನಪಿನ ಶಕ್ತಿ (memory) ಇರಲಿಲ್ಲ; ಅದು ಪ್ರತಿ ವಿನಂತಿಯ ಮೇಲೂ ಮಿತಿಯನ್ನು ಮರು-ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತಿತ್ತು. ತಂಡವು ಒಂದು ಸಣ್ಣ ಡೇಟಾಬೇಸ್ ಟೇಬಲ್—seo_unlocks— ಅನ್ನು ಪರಿಚಯಿಸಿತು, ಇದು ಒಂದು ಪುಟವು ಮೊದಲ ಬಾರಿಗೆ ಮೂರು ಲಿಸ್ಟಿಂಗ್ಗಳ ಮಿತಿಯನ್ನು ತಲುಪಿದಾಗ ಅದನ್ನು ದಾಖಲಿಸುತ್ತದೆ. ಹೊಸ ಕಾರ್ಯವಿಧಾನ ಹೀಗಿದೆ:
- ಲಿಸ್ಟಿಂಗ್ ಸಂಖ್ಯೆಯನ್ನು ಪರಿಶೀಲಿಸಿ. ಪುಟದಲ್ಲಿ ಮೂರು ಅಥವಾ ಅದಕ್ಕಿಂತ ಹೆಚ್ಚು ಸಕ್ರಿಯ ಲಿಸ್ಟಿಂಗ್ಗಳಿದ್ದರೆ, ಮುಂದುವರಿಯಿರಿ.
- ಅನ್ಲಾಕ್ ಸಾಲನ್ನು (unlock row) ಬರೆಯಿರಿ. ಆ ಪುಟಕ್ಕಾಗಿ
seo_unlocksನಲ್ಲಿ ಒಂದು ದಾಖಲೆಯನ್ನು ಸೇರಿಸಿ. - ಪುಟವನ್ನು ಶಾಶ್ವತವಾಗಿ ಇಂಡೆಕ್ಸಿಂಗ್ ಮಾಡಬಹುದಾದ ಪುಟವೆಂದು ಪರಿಗಣಿಸಿ. ನಂತರದ ಲಿಸ್ಟಿಂಗ್ಗಳ ಸಂಖ್ಯೆ ಮೂರಕ್ಕಿಂತ ಕಡಿಮೆಯಾದರೂ, ಅನ್ಲಾಕ್ ಸಾಲಿನ ಉಪಸ್ಥಿತಿಯು ಪುಟವು
noindexಪ್ರಕ್ರಿಯೆಗೆ ಒಳಗಾಗದಂತೆ ತಡೆಯುತ್ತದೆ.
ಅನ್ಲಾಕ್ ಅನ್ನು ಒಮ್ಮೆ ಮಾತ್ರ ಬರೆಯಲು ಸಾಧ್ಯವಿರುವುದರಿಂದ, ಒಂದು ಪುಟವು “noindex” ನಿಂದ “index” ಗೆ ಚಲಿಸಬಹುದು ಆದರೆ ಎಂದಿಗೂ ಹಿಂತಿರುಗಲು ಸಾಧ್ಯವಿಲ್ಲ. ಫಿಲ್ಟರ್ ಮಾಡಿದ URLಗಳು (ಉದಾಹರಣೆಗೆ, ಬೆಲೆ ವ್ಯಾಪ್ತಿಯೊಂದಿಗೆ ಹುಡುಕಿದ ಸರ್ಚ್ ರಿಸಲ್ಟ್ಗಳು) ತಮ್ಮ ಪೋಷಕ ವರ್ಗಗಳಿಗಾಗಿ (parent categories) ಅನ್ಲಾಕ್ಗಳನ್ನು ರಚಿಸದಂತೆ ತಂಡವು ರಕ್ಷಣಾತ್ಮಕ ಕ್ರಮಗಳನ್ನು ಸೇರಿಸಿದೆ, ಮತ್ತು ಡೇಟಾಬೇಸ್ ವೈಫಲ್ಯದಿಂದ ಇಡೀ ಸೈಟ್ ಸ್ಥಗಿತಗೊಳ್ಳುವುದನ್ನು ತಡೆಯಲು ಡೇಟಾಬೇಸ್ ಕರೆಯನ್ನು try/catch ಬ್ಲಾಕ್ನಲ್ಲಿ ಸುತ್ತಿದೆ.
ಕ್ರಾಲ್ ಬಜೆಟ್ (crawl budget) ಮತ್ತು ಥಿನ್ ಪೇಜ್ಗಳಿಗೆ (thin pages) ಇದರ ಅರ್ಥವೇನು
noindex ಬಳಕೆಯಿಂದ ಕ್ರಾಲ್ ಬಜೆಟ್ ಉಳಿತಾಯವಾಗುತ್ತದೆ ಎಂಬುದು ಒಂದು ಸಾಮಾನ್ಯ ತಪ್ಪು ಕಲ್ಪನೆ. ಗೂಗಲ್ ಇನ್ನೂ ಪುಟವನ್ನು ಪಡೆಯಬೇಕಾಗುತ್ತದೆ (fetch), ಟ್ಯಾಗ್ ಅನ್ನು ಓದಬೇಕಾಗುತ್ತದೆ ಮತ್ತು ನಂತರ ಅದನ್ನು ಇಂಡೆಕ್ಸ್ನಿಂದ ತೆಗೆದುಹಾಕಬೇಕಾಗುತ್ತದೆ. ಒಂದು ವೇಳೆ ಇಡೀ URL ಪ್ಯಾಟರ್ನ್ ಅನ್ನು ಗೂಗಲ್ ವಿನಂತಿಸದಂತೆ ತಡೆಯುವುದು ನಿಮ್ಮ ಗುರಿಯಾಗಿದ್ದರೆ, ಅದಕ್ಕೆ ಸರಿಯಾದ ಸಾಧನ robots.txt. ಗೂಗಲ್ ಪುಟವನ್ನು ನೋಡಬೇಕೆಂದು ನೀವು ಬಯಸುತ್ತೀರಿ ಆದರೆ ಸರ್ಚ್ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ತೋರಿಸಬಾರದು ಎಂದಾಗ ಮಾತ್ರ noindex ಬಳಸಿ.
ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಸೃಷ್ಟಿಯಾದ ಹೆಚ್ಚಿನ ಪುಟಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುವ ಡೈರೆಕ್ಟರಿಗಳು, ಜಾಬ್ ಬೋರ್ಡ್ಗಳು ಮತ್ತು ಮಾರ್ಕೆಟ್ಪ್ಲೇಸ್ಗಳಿಗೆ ಪಾಠ ಸ್ಪಷ್ಟವಾಗಿದೆ: ಥಿನ್-ಪೇಜ್ ನಿಯಮಗಳನ್ನು ಒಂದು ಪರ್ಸಿಸ್ಟೆನ್ಸ್ ಲೇಯರ್ (persistence layer) ಜೊತೆಗೆ ಜೋಡಿಸಬೇಕು, ಇದು ಒಂದು ಪುಟವು ಇಂಡೆಕ್ಸ್ನಲ್ಲಿ ಸ್ಥಾನವನ್ನು ಗಳಿಸಿದಾಗ ಅದನ್ನು ನೆನಪಿಟ್ಟುಕೊಳ್ಳುತ್ತದೆ. ಆ ನೆನಪಿನ ಶಕ್ತಿ ಇಲ್ಲದಿದ್ದರೆ, ಕಂಟೆಂಟ್ನಲ್ಲಿನ ತಾತ್ಕಾಲಿಕ ಇಳಿಕೆಯು ಪುಟವು ಗಳಿಸಿದ್ದ ರ್ಯಾಂಕಿಂಗ್ ಅನ್ನು ಕಳೆದುಕೊಳ್ಳುವಂತೆ ಮಾಡಬಹುದು ಮತ್ತು ಮರಳಿ ಪ್ರವೇಶಿಸಲು ವಾರಗಟ್ಟಲೆ ಬೇಕಾಗಬಹುದು.
ಸಾರಾಂಶ
ಡೈನಾಮಿಕ್ ಲಿಸ್ಟಿಂಗ್ ಸೈಟ್ಗಳಿಗೆ ಸ್ಥಿರವಾದ “if count < 3 then noindex” ನಿಯಮವು SEO ಅಸ್ಥಿರತೆಯನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ. ಏಕಮುಖ ಅನ್ಲಾಕ್ ದಾಖಲೆಯನ್ನು ಸೇರಿಸುವುದರಿಂದ ನಿಯಮಕ್ಕೆ ನೆನಪಿನ ಶಕ್ತಿ ಸಿಗುತ್ತದೆ, ಇದು ಲಿಸ್ಟಿಂಗ್ಗಳು ಏರಿಳಿತವಾದರೂ ಪುಟಗಳು ತಮ್ಮ ಇಂಡೆಕ್ಸ್ ಸ್ಥಿತಿಯನ್ನು ಗಳಿಸಲು ಮತ್ತು ಉಳಿಸಿಕೊಳ್ಳಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ನಿಜವಾದ ಕ್ರಾಲ್-ಬಜೆಟ್ ಉಳಿತಾಯಕ್ಕಾಗಿ ಇದನ್ನು robots.txt ನ ಸರಿಯಾದ ಬಳಕೆಯೊಂದಿಗೆ ಜೋಡಿಸಿದರೆ, ನೀವು ರ್ಯಾಂಕಿಂಗ್ಗಳು ಮತ್ತು ಸರ್ವರ್ ಸಂಪನ್ಮೂಲಗಳೆರಡನ್ನೂ ರಕ್ಷಿಸಬಹುದು.