ನಾನು AI ಸಹಾಯಕರಿಂದ ಉಲ್ಲೇಖಿಸಲ್ಪಡುವಂತಹ (quoted) ಒಂದು ವೆಬ್‌ಸೈಟ್ ಅನ್ನು ನಿರ್ಮಿಸಿದ್ದೇನೆ. ಕೇವಲ ಊಹಿಸುವ ಬದಲು, ನಾನು ವ್ಯಾಪಕವಾಗಿ ಶಿಫಾರಸು ಮಾಡಲಾದ ಮೂರು ಸಂಕೇತಗಳನ್ನು ಅಳವಡಿಸಿದ್ದೇನೆ: GPT ಶೈಲಿಯ ಕ್ರಾಲರ್‌ಗಳಿಗೆ (crawlers) ಅನುಮತಿ ನೀಡುವ robots.txt ಎಂಟ್ರಿ, ಪ್ರತಿ ಪುಟವನ್ನು ಪಟ್ಟಿ ಮಾಡುವ llms.txt ಫೈಲ್, ಮತ್ತು ವಿಷಯವನ್ನು ವಿವರಿಸುವ JSON-LD schema. ಪ್ರತಿಯೊಂದನ್ನು ಪರೀಕ್ಷಿಸಿದ ನಂತರ, ಕೇವಲ ಒಂದು ಮಾತ್ರ ಎಚ್ಚರಿಕೆ ಇಲ್ಲದೆ ವಿಫಲವಾಗಬಹುದು ಎಂದು ನಾನು ಕಂಡುಕೊಂಡೆ, ಮತ್ತು ಉಳಿದವುಗಳು ಹೆಚ್ಚಿನ ಜನರು ಹೇಳುವಂತೆ ಕೆಲಸ ಮಾಡುವುದಿಲ್ಲ.

ಈ ಮೂರು ಸಂಕೇತಗಳು ಏಕೆ ಮುಖ್ಯ

AI-ಕೇಂದ್ರಿತ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಸ್ಪಷ್ಟ ಅನುಮತಿಯ ಅಗತ್ಯವಿದೆ, ಪ್ಲೇನ್-ಟೆಕ್ಸ್ಟ್ "llms.txt" ಇಂಡೆಕ್ಸ್ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳಿಗೆ (LLMs) ಸಂಬಂಧಿತ ಭಾಗಗಳನ್ನು ಹುಡುಕಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ, ಮತ್ತು JSON-LD ಸ್ಟ್ರಕ್ಚರ್ಡ್ ಡೇಟಾ ಉಲ್ಲೇಖಿತವಾಗುವ ಸಾಧ್ಯತೆಯನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ ಎಂದು ವೆಬ್ ಮಾಸ್ಟರ್‌ಗಳಿಗೆ ಹೇಳಲಾಗುತ್ತಿದೆ. ಇದರ ಭರವಸೆ ಸರಳವಾಗಿದೆ: ಈ ಫೈಲ್‌ಗಳನ್ನು ಸೇರಿಸಿ, ಆಗ ನಿಮ್ಮ ಸೈಟ್ AI-ಸೃಷ್ಟಿತ ಉತ್ತರಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳಲು ಪ್ರಾರಂಭಿಸುತ್ತದೆ, ಇದರಿಂದ ಟ್ರಾಫಿಕ್ ಮತ್ತು ಬ್ರ್ಯಾಂಡ್ ವಿಸಿಬಿಲಿಟಿ ಹೆಚ್ಚಾಗುತ್ತದೆ.

1. robots.txt ನಲ್ಲಿ AI ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಅನುಮತಿ ನೀಡುವುದು

GPTBot (ಅಥವಾ ಯಾವುದೇ ಇತರ AI ಬಾಟ್) ಅನ್ನು ಉಲ್ಲೇಖಿಸುವ robots.txt ಸಾಲು ಕೇವಲ ಒಂದು ವಿನಂತಿ ಮಾತ್ರ. ಒಂದು ವೇಳೆ ಕಂಟೆಂಟ್ ಡೆಲಿವರಿ ನೆಟ್‌ವರ್ಕ್ (CDN) ಅಥವಾ ಫೈರ್‌ವಾಲ್ ಬಾಟ್ ಅನ್ನು ತಡೆದರೆ, ಆ ವಿನಂತಿ ಸೈಟ್‌ಗೆ ತಲುಪುವುದಿಲ್ಲ ಮತ್ತು ಕ್ರಾಲರ್ ಆ ಫೈಲ್ ಅನ್ನು ಓದಲು ಸಾಧ್ಯವಾಗುವುದಿಲ್ಲ. ಬಾಟ್ ನಿಮ್ಮನ್ನು ಪ್ರವೇಶಿಸಬಲ್ಲದೇ ಎಂದು ತಿಳಿಯಲು ಇರುವ ಏಕೈಕ ವಿಶ್ವಾಸಾರ್ಹ ಮಾರ್ಗವೆಂದರೆ ಪ್ರತಿಯೊಂದು ಪ್ರಮುಖ ಬಾಟ್‌ಗಾಗಿ HTTP ಸ್ಟೇಟಸ್ ಕೋಡ್ ಅನ್ನು ಪರಿಶೀಲಿಸುವುದು. 403 (forbidden) ಅಥವಾ 503 (service unavailable) ಪ್ರತಿಕ್ರಿಯೆ ಎಂದರೆ ಉಳಿದ ವ್ಯವಸ್ಥೆಗಳು ವ್ಯರ್ಥ ಎಂದರ್ಥ—ಬಾಟ್ ಇಲ್ಲದಿದ್ದರೆ, ಇಂಡೆಕ್ಸಿಂಗ್ ಇಲ್ಲ, ಉಲ್ಲೇಖವೂ ಇಲ್ಲ.

2. llms.txt ಫೈಲ್

llms.txt ಫೈಲ್ ಎಂಬುದು ಕೇವಲ URL ಗಳ ಮಾರ್ಕ್‌ಡೌನ್ ಪಟ್ಟಿಯಾಗಿದ್ದು, LLMಗಳಿಗೆ ಸೈಟ್‌ನ ಸ್ಪಷ್ಟ ನಕ್ಷೆಯನ್ನು ನೀಡುವ ಉದ್ದೇಶವನ್ನು ಹೊಂದಿದೆ, ಇದರಿಂದ ಅವು ಕೇವಲ HTML ಮೂಲಕ ನ್ಯಾವಿಗೇಶನ್ ಅನ್ನು ಊಹಿಸುವ ಅಗತ್ಯವಿರುವುದಿಲ್ಲ. ಪ್ರಾಯೋಗಿಕವಾಗಿ ಹೇಳುವುದಾದರೆ, Google ನ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ ಇದು ಫೈಲ್ ಅನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತದೆ ಎಂದು ಹೇಳುತ್ತದೆ, ಮತ್ತು ಯಾವುದೇ ಪ್ರಮುಖ ಸರ್ಚ್ ಇಂಜಿನ್ ಉಲ್ಲೇಖದ ಉದ್ದೇಶಕ್ಕಾಗಿ ಇದನ್ನು ಬಳಸುವುದಾಗಿ ಭರವಸೆ ನೀಡಿಲ್ಲ. ಇದನ್ನು ಇಟ್ಟುಕೊಳ್ಳಲು ಯಾವುದೇ ಹೆಚ್ಚಿನ ವೆಚ್ಚವಿಲ್ಲ ಮತ್ತು ಇದು ಕಸ್ಟಮ್ AI ಏಜೆಂಟ್‌ಗಳಿಗೆ ಉಪಯುಕ್ತವಾಗಬಹುದು, ಆದರೆ ಇದನ್ನು ಹೆಚ್ಚಿನ AI ಉಲ್ಲೇಖಗಳಿಗೆget ತಲುಪುವ ಶಾರ್ಟ್‌ಕಟ್ ಎಂದು quảngಂಬಿಸಬಾರದು.

3. JSON-LD schema

JSON-LD ಎಂಬುದು ರಚನಾತ್ಮಕ ಡೇಟಾವನ್ನು (structured data)—ಲೇಖಕರ ಹೆಸರುಗಳು, ಪ್ರಕಟಣಾ ದಿನಾಂಕಗಳು, ಉತ್ಪನ್ನದ IDಗಳು—ನೇರವಾಗಿ ಪುಟದಲ್ಲಿ ಅಳವಡಿಸುತ್ತದೆ. ಅನೇಕ ಮಾರ್ಕೆಟರ್‌ಗಳು schema ಅನ್ನು ಸೇರಿಸುವುದರಿಂದ ತಮ್ಮ ಪುಟಗಳು AI ಉತ್ತರಗಳಲ್ಲಿ ಹೆಚ್ಚು ಬಾರಿ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತವೆ ಎಂದು ಭಾವಿಸುತ್ತಾರೆ, ಆದರೆ 1,885 ಪುಟಗಳ ಅಧ್ಯಯನವು ಕೇವಲ schema ಮಾರ್ಕ್‌ಅಪ್‌ನಿಂದ ಉಲ್ಲೇಖಗಳಲ್ಲಿ ಯಾವುದೇ ಗಮನಾರ್ಹ ಹೆಚ್ಚಳ ಕಂಡುಬಂದಿಲ್ಲ ಎಂದು ತಿಳಿಸಿದೆ. JSON-LD ನ ನಿಜವಾದ ಮೌಲ್ಯವು ಎಂಟಿಟಿ ರೆಸಲ್ಯೂಶನ್ (entity resolution) ನಲ್ಲಿ ಅಡಗಿದೆ: ಇದು ಒಂದು ಪುಟದಲ್ಲಿರುವ "Jane Doe" ಎಂಬುವವರು ಇನ್ನೊಂದು ಪುಟದಲ್ಲಿರುವ ಅದೇ "Jane Doe" ಎಂದು ಯಂತ್ರಕ್ಕೆ ತಿಳಿಸುತ್ತದೆ, ಇದರಿಂದ ಒಂದೇ ರೀತಿಯ ಹೆಸರಿನ ವ್ಯಕ್ತಿಗಳು ಅಥವಾ ಉತ್ಪನ್ನಗಳ ನಡುವಿನ ಗೊಂದಲವನ್ನು ತಪ್ಪಿಸುತ್ತದೆ.

ನಿಜವಾದ ಅಡಚಣೆ: ಇಂಡೆಕ್ಸಿಂಗ್ (indexing)

ಈ ಮೂರೂ ಸಂಕೇತಗಳು ಕೇವಲ ಮೂಲಭೂತ ವ್ಯವಸ್ಥೆಗಳಿದ್ದಂತೆ; ಪುಟವು ಮೊದಲೇ ಇಂಡೆಕ್ಸ್ ಆಗಿದ್ದರೆ ಮಾತ್ರ ಅವು ಕೆಲಸ ಮಾಡುತ್ತವೆ. ಇಂಡೆಕ್ಸ್‌ನಲ್ಲಿ ಎಂದಿಗೂ ಕಾಣಿಸಿಕೊಳ್ಳದ ಪುಟವನ್ನು, ನೀವು ಎಷ್ಟೇ ಕ್ರಾಲರ್ ಅನುಮತಿಗಳು ಅಥವಾ schema ಟ್ಯಾಗ್‌ಗಳನ್ನು ಸೇರಿಸಿದರೂ ಹಿಂಪಡೆಯಲು ಸಾಧ್ಯವಿಲ್ಲ. ಇಂಡೆಕ್ಸಿಂಗ್ ಆರೋಗ್ಯದ ಅತ್ಯಂತ ವಿಶ್ವಾಸಾರ್ಹ ಸೂಚಕವೆಂದರೆ Google Search Console ನಲ್ಲಿನ ಕವರೇಜ್ ವರದಿ (ಅಥವಾ ಇತರ ಇಂಜಿನ್‌ಗಳ ಸಮಾನ ಸಾಧನ). ಒಂದು ಪುಟವು "not indexed" ಎಂದು ತೋರಿಸುತ್ತಿದ್ದರೆ, ನೀವು ಯಾವುದೇ AI-ನಿರ್ದಿಷ್ಟ ಸಂಕೇತಗಳ ಬಗ್ಗೆ ಚಿಂತಿಸುವ ಮೊದಲು ಅದನ್ನು ಸರಿಪಡಿಸಬೇಕಾಗುತ್ತದೆ.

ಒಂದು ಪ್ರಾಯೋಗಿಕ ಪರಿಶೀಲನಾ ಪಟ್ಟಿ (checklist)

  1. ಕ್ರಾಲರ್ ಪ್ರವೇಶವನ್ನು ಪರಿಶೀಲಿಸಿ – GPTBot, ClaudeBot ಅಥವಾ ನೀವು ಗಮನಹರಿಸುವ ಯಾವುದೇ ಇತರ AI ಕ್ರಾಲರ್‌ಗಾಗಿ HTTP ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಪರೀಕ್ಷಿಸಿ. ಈ ಹಂತವು ಎಚ್ಚರಿಕೆ ನೀಡದೆ ವಿಫಲವಾಗಬಹುದು; ಬ್ಲಾಕ್ ಮಾಡಲ್ಪಟ್ಟರೆ ಅದು ನಿಮ್ಮ ಅನಾಲಿಟಿಕ್ಸ್‌ನಲ್ಲಿ ಯಾವುದೇ ಎಚ್ಚರಿಕೆಯನ್ನು ತೋರಿಸುವುದಿಲ್ಲ.
  2. ಇಂಡೆಕ್ಸ್ ಕವರೇಜ್ ಅನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ – ಯಾವ ಪುಟಗಳು ಇಂಡೆಕ್ಸ್ ಆಗಿವೆ, ಯಾವುವು ಹೊರ excluded ಆಗಿವೆ ಮತ್ತು ಏಕೆ ಎಂಬುದನ್ನು ನೋಡಲು Search Console ಬಳಸಿ. ಯಾವುದೇ "crawl errors" ಅಥವಾ "noindex" ನಿರ್ದೇಶನಗಳನ್ನು ಮೊದಲು ಪರಿಹರಿಸಿ.
  3. ಮೂಲ ವ್ಯವಸ್ಥೆಯನ್ನು ಸೇರಿಸಿ – ಪ್ರವೇಶ ಮತ್ತು ಇಂಡೆಕ್ಸಿಂಗ್ ಭದ್ರವಾಗಿದೆಯೇ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಂಡ ನಂತರ, llms.txt ಮತ್ತು JSON-LD ಅನ್ನು ಸೇರಿಸಿ. ಅವುಗಳನ್ನು ಉಲ್ಲೇಖದ ಗ್ಯಾರಂಟಿಗಳಿಗಿಂತ ಹೆಚ್ಚಾಗಿ ಕಡಿಮೆ ನಿರ್ವಹಣೆಯ ಸಹಾಯಕರನ್ನಾಗಿ ಪರಿಗಣಿಸಿ.

ವಿರುದ್ಧ ವಾದ

ಕೆಲವು ಮಾರಾಟಗಾರರು ಇಂದಿಗೂ llms.txt ಜನರೇಟರ್‌ಗಳನ್ನು ಮತ್ತು schema ಪ್ಲಗಿನ್‌ಗಳನ್ನು AI ಗಾಗಿ SEO ಬೂಸ್ಟರ್‌ಗಳೆಂದು ಮಾರುಕಟ್ಟೆ ಮಾಡುತ್ತಿದ್ದಾರೆ. ನಾನು ಸಂಗ್ರಹಿಸಿದ ಡೇಟಾ ಮತ್ತು ಪ್ರಮುಖ ಸರ್ಚ್ ಇಂಜಿನ್‌ಗಳ ಅಧಿಕೃತ ನಿಲುವು ಇವುಗಳ ವಾದಗಳು ಅತಿರಂಜಿತವಾಗಿವೆ ಎಂದು ಸೂಚಿಸುತ್ತವೆ. ಈ ಪರಿಕರಗಳು ಹಾನಿಕಾರಕವಲ್ಲ, ಆದರೆ ಅವುಗಳನ್ನು AI-ಉಲ್ಲೇಖದ ತಂತ್ರದ ಕೇಂದ್ರಬಿಂದುವನ್ನಾಗಿ ಮಾಡಬಾರದು.

ಮುಂದೆ ಗಮನಿಸಬೇಕಾದವುಗಳು

ಕ್ರಾಲರ್ ಲಾಗ್‌ಗಳನ್ನು (logs) ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ, Search Console ಎಲರ್ಟ್‌ಗಳ ಮೇಲೆ ಕಣ್ಣಿಡಿ ಮತ್ತು ನಿಮ್ಮ ಪೈಪ್‌ಲೈನ್ ಸುಗಮವಾಗಿ ಚಲಿಸಲು ನಿಯಮಿತವಾಗಿ ವ್ಯಾಲಿಡೇಶನ್ ಪರಿಕರಗಳೊಂದಿಗೆ ನಿಮ್ಮ JSON-LD ಅನ್ನು ಪರೀಕ್ಷಿಸಿ.

ಸಾರಾಂಶ: ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು AI ಉಲ್ಲೇಖಿಸಬೇಕೆಂದು ನೀವು ಬಯಸಿದರೆ, llms.txt ಮತ್ತು schema ಅನ್ನು ಮಾಂತ್ರಿಕ ಟಿಕೆಟ್‌ಗಳೆಂದು ಪರಿಗಣಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಬಾಟ್‌ಗಳು ನಿಜವಾಗಿಯೂ ನಿಮ್ಮನ್ನು ತಲುಪಬಲ್ಲವು ಮತ್ತು ನಿಮ್ಮ ಪುಟಗಳು ಇಂಡೆಕ್ಸ್ ಆಗಿವೆ ಎಂಬುದನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ; ಆಗ ಮಾತ್ರ ಈ ಹೆಚ್ಚುವರಿ ಫೈಲ್‌ಗಳು ತಮ್ಮ ವಿನಮ್ರ ಮತ್ತು ಬೆಂಬಲದ ಪಾತ್ರವನ್ನು ನಿರ್ವಹಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.

ಮೂಲ: dev.to ಮೇಲಿನ ಮೂಲ ಪೋಸ್ಟ್