ವಿಕಿಮೀಡಿಯಾ ಎಂಜಿನಿಯರಿಂಗ್ ತಂಡದ ಪ್ರಕಾರ, AI-ಚಾಲಿತ ಕ್ರಾಲರ್‌ಗಳು (crawlers) ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನ ಅತ್ಯಂತ ದುಬಾರಿ ಟ್ರಾಫಿಕ್‌ನ ಶೇ. 65 ರಷ್ಟನ್ನು ಉತ್ಪಾದಿಸುತ್ತಿವೆ, ಇದು ಹಾನಿಕಾರಕವಲ್ಲದಂತೆ ಕಾಣುವ ಬಾಟ್ ಏರಿಕೆಯನ್ನು ಸರ್ವರ್ ಬಿಲ್‌ಗಳಲ್ಲಿನ ಒಂದು ದೊಡ್ಡ ವೆಚ್ಚವಾಗಿ ಪರಿವರ್ತಿಸುತ್ತಿದೆ. ಇದೇ ಮಾದರಿಯು ಈಗ ಸಣ್ಣ ಬ್ಲಾಗ್‌ಗಳು ಮತ್ತು ಹವ್ಯಾಸಿ ಸೈಟ್‌ಗಳಲ್ಲೂ ಕಂಡುಬರುತ್ತಿದೆ.

ಈ ಏರಿಕೆಯು ಏಕೆ ಮುಖ್ಯ

ಮಾನವ ಸಂದರ್ಶಕರು ಜನಪ್ರಿಯ ಪುಟಗಳಲ್ಲಿ—ಹೋಮ್‌ಪೇಜ್‌ಗಳು, ವಿಶೇಷ ಲೇಖನಗಳು ಮತ್ತು ಇತರ ಪ್ರಸಿದ್ಧ ವಿಷಯಗಳಲ್ಲಿ—ಹೆಚ್ಚು ಸಮಯ ಕಳೆಯುತ್ತಾರೆ. CDNs ಆ ಪುಟಗಳನ್ನು ಎಡ್ಜ್ ಲೊಕೇಶನ್‌ಗಳಲ್ಲಿ (edge locations) ಕ್ಯಾಶ್ (cache) ಮಾಡುತ್ತವೆ, ಆದ್ದರಿಂದ ಮೂಲ ಸರ್ವರ್ (origin server) ಅಷ್ಟೇನೂ ಕೆಲಸ ಮಾಡಬೇಕಾಗಿಲ್ಲ. ಇದಕ್ಕೆ ವ್ಯತಿರಿಕ್ತವಾಗಿ, AI ಕ್ರಾಲರ್‌ಗಳು ಒಂದೇ ಬಾರಿ ಸಾವಿರಾರು ಅಪರಿಚಿತ URLಗಳನ್ನು ಸ್ಕ್ರೇಪ್ (scrape) ಮಾಡುತ್ತವೆ. ಆ ಪುಟಗಳನ್ನು ಅಪರೂಪವಾಗಿ ಕ್ಯಾಶ್ ಮಾಡಲಾಗುವುದರಿಂದ, ಪ್ರತಿಯೊಂದು ವಿನಂತಿಯು (request) ವಿಕಿಮೀಡಿಯಾ ಮೂಲ ಮೂಲಸೌಕರ್ಯಕ್ಕೆ (origin infrastructure) ತಲುಪಬೇಕಾಗುತ್ತದೆ. ಇದರ ಪರಿಣಾಮ: ಒಟ್ಟು ಟ್ರಾಫಿಕ್‌ನ ತುಲನಾತ್ಮಕವಾಗಿ ಸಣ್ಣ ಭಾಗಕ್ಕಾಗಿ ಅತಿಯಾದ ಕಂಪ್ಯೂಟ್, ಸ್ಟೋರೇಜ್ ಮತ್ತು ನೆಟ್‌ವರ್ಕ್ ಬಳಕೆಯಾಗುತ್ತದೆ.

ಈ ಡೇಟಾವನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿದ ಎಂಜಿನಿಯರಿಂಗ್ ಬ್ಲಾಗ್ ಪ್ರಕಾರ, ಒಟ್ಟು ವಿನಂತಿಗಳಲ್ಲಿ ಬಾಟ್‌ಗಳು ಕೇವಲ ಸಣ್ಣ ಭಾಗವನ್ನು ಹೊಂದಿದ್ದರೂ, ಅವು "ದುಬಾರಿ" ವೆಚ್ಚದ ವಿಭಾಗದಲ್ಲಿ ಪ್ರಾಬಲ್ಯ ಸಾಧಿಸಿವೆ.

ಯಾರು ಸಂಕಷ್ಟ ಅನುಭವಿಸುತ್ತಿದ್ದಾರೆ

ಸಣ್ಣ ಆಪರೇಟರ್‌ಗಳಿಗೆ ಅಂತಹ ರಕ್ಷಣೆ ಇರುವುದಿಲ್ಲ. ಈ ಗುಪ್ತ ವೆಚ್ಚವು ಕೇವಲ ಹಣಕ್ಕೆ ಸೀಮಿತವಾಗಿಲ್ಲ; ಇದು ಕಾನೂನುಬದ್ಧ ಸಂದರ್ಶಕರಿಗೆ ಸೇವೆಯ ಗುಣಮಟ್ಟ ಕುಸಿಯುವ ಅಪಾಯವನ್ನೂ ಹೊಂದಿದೆ.

ಸೈಟ್ ಮಾಲೀಕರು ಏನು ಮಾಡಬಹುದು

  • ರೇಟ್-ಲಿಮಿಟಿಂಗ್‌ನಿಂದ (rate-limiting) ಪ್ರಾರಂಭಿಸಿ – ಒಂದು ನಿರ್ದಿಷ್ಟ ಅವಧಿಯಲ್ಲಿ ಒಂದೇ IP ಮಾಡಬಹುದಾದ ವಿನಂತಿಗಳ ಸಂಖ್ಯೆಯನ್ನು ನಿಯಂತ್ರಿಸಿ. ಇದು ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಸಂಪೂರ್ಣವಾಗಿ ಪ್ರವೇಶ ನಿರಾಕರಿಸದೆ, ಅವುಗಳ ವೇಗವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
  • ದೃಶ್ಯೀಕರಣ ಮತ್ತು ವೆಚ್ಚದ ನಡುವೆ ಸಮತೋಲನ ಕಾಯ್ದುಕೊಳ್ಳಿ – ಸರ್ಚ್ ಇಂಜಿನ್ ಬಾಟ್ ಅನ್ನು ನಿರ್ಬಂಧಿಸುವುದು ಟ್ರಾಫಿಕ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು, ಆದರೆ ಇದು ನಿಮ್ಮ ಪುಟಗಳನ್ನು ಇಂಡೆಕ್ಸ್‌ನಿಂದ ಹೊರಹಾಕಬಹುದು, ಇದರಿಂದ ಸಾವಯವವಾಗಿ (organic) ನಿಮ್ಮ ಸೈಟ್ ಹುಡುಕಲು ಕಷ್ಟವಾಗಬಹುದು.
  • ಬಾಟ್‌ಗಳನ್ನು ವರ್ಗೀಕರಿಸಿ – ಎಲ್ಲಾ ಕ್ರಾಲರ್‌ಗಳು ಒಂದೇ ರೀತಿಯದ್ದಲ್ಲ. ಕೆಲವು ಟ್ರಾಫಿಕ್ ತರುವ ಕಾನೂನುಬದ್ಧ ಸರ್ಚ್ ಟೂಲ್‌ಗಳಾಗಿರುತ್ತವೆ; ಇನ್ನು ಕೆಲವು ಯಾವುದೇ ಮೌಲ್ಯವನ್ನು ನೀಡದ ಕೇವಲ ಸ್ಕ್ರೇಪರ್‌ಗಳಾಗಿರುತ್ತವೆ.
  • ಪ್ರೂಫ್-ಆಫ್-ವರ್ಕ್ (proof-of-work) ಸವಾಲುಗಳನ್ನು ಅಳವಡಿಸಿ – ಒಂದು ಪುಟವನ್ನು ತೋರಿಸುವ ಮೊದಲು ಸಣ್ಣ ಕಂಪ್ಯೂಟೇಶನಲ್ ಪಜಲ್ ಅನ್ನು ಪೂರ್ಣಗೊಳಿಸುವಂತೆ ಕೇಳಿ. ಮಾನವ ಬ್ರೌಸರ್‌ಗಳು ಇದನ್ನು ತಕ್ಷಣವೇ ಪರಿಹರಿಸುತ್ತವೆ; ಆದರೆ ಬಾಟ್‌ಗಳು ಹೆಚ್ಚಿನ ಶ್ರಮವನ್ನು ಹಾಕಬೇಕಾಗುತ್ತದೆ, ಇದು ಅವುಗಳ ವೆಚ್ಚವನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ.
  • CDN ಅನಲಿಟಿಕ್ಸ್ ಬಳಸಿ – ಹೆಚ್ಚಿನ CDNs ಪ್ರತಿ ಬಾಟ್ ವಿನಂತಿಗಳ ಅಂಕಿಅಂಶಗಳನ್ನು ನೀಡುತ್ತವೆ. ಯಾವ ಏಜೆಂಟ್‌ಗಳು ಪದೇ ಪದೇ ಮೂಲ ಸರ್ವರ್ ಅನ್ನು ತಲುಪುತ್ತಿವೆ ಎಂಬುದನ್ನು ಗುರುತಿಸಿ ಮತ್ತು ಅದಕ್ಕೆ ತಕ್ಕಂತೆ ನಿಯಮಗಳನ್ನು ರೂಪಿಸಿ.

ಇದರ ಸಾರಾಂಶ ಸರಳವಾಗಿದೆ: AI ಕ್ರಾಲರ್‌ಗಳು ಇನ್ನು ಮುಂದೆ ಕೇವಲ ಕುತೂಹಲಕಾರಿ ವಿಷಯಗಳಲ್ಲ; ಅವು ಅಳೆಯಬಹುದಾದ ವೆಚ್ಚದ ಕೇಂದ್ರಗಳಾಗಿವೆ. ನೀವು ಜಾಗತಿಕ ವಿಶ್ವಕೋಶವನ್ನು ನಡೆಸುತ್ತಿದ್ದರೂ ಅಥವಾ ಸಿಂಗಲ್-ಪೇಜ್ ಪೋರ್ಟ್‌ಫೋಲಿಯೊವನ್ನು ಹೊಂದಿದ್ದರೂ, ಬಾಟ್ ಟ್ರಾಫಿಕ್ ಅನ್ನು ನಿಮ್ಮ ಮೂಲಸೌಕರ್ಯ ಬಜೆಟ್‌ನಲ್ಲಿ ಒಂದು ವೆಚ್ಚದ ಅಂಶವಾಗಿ ಪರಿಗಣಿಸುವುದು ಅನಿರೀಕ್ಷಿತ ಬಿಲ್‌ಗಳನ್ನು ತಡೆಯುತ್ತದೆ ಮತ್ತು ನೈಜ ಬಳಕೆದಾರರಿಗೆ ನಿಮ್ಮ ಸೈಟ್ ವೇಗವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವಂತೆ ಮಾಡುತ್ತದೆ.