ನಿಮ್ಮ ಪುಟವು Google ನಲ್ಲಿ ಮೊದಲ ಸ್ಥಾನವನ್ನು ಪಡೆಯಬಹುದು ಮತ್ತು ಆದರೂ ChatGPT ಗೆ ಕಾಣಿಸದಿರಬಹುದು

Google ನ ಕ್ರಾಲರ್ (crawler) ನಿಮ್ಮ JavaScript ಅನ್ನು ರನ್ ಮಾಡುತ್ತದೆ, ರೆಂಡರ್ ಆದ HTML ಅನ್ನು ತನ್ನ ಇಂಡೆಕ್ಸ್ (index) ಗೆ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಕ್ಲೈಂಟ್-ಸೈಡ್ ರೆಂಡರ್ ಆದ ಸೈಟ್ ಅನ್ನು ಸರ್ಚ್ ರಿಸಲ್ಟ್‌ಗಳ ಮೊದಲ ಪುಟದಲ್ಲಿ ಇರಿಸಬಲ್ಲದು. ಅದೇ ಪುಟವನ್ನು ChatGPT ಅಥವಾ Bing ನ AI ಸರ್ಚ್ ಮೂಲಕ ಕೇಳಿದಾಗ, ಅದು ಮಾಯವಾಗುತ್ತದೆ ಏಕೆಂದರೆ ಆ ಸೇವೆಗಳನ್ನು ನಡೆಸುವ ಬಾಟ್‌ಗಳು (bots) ಎಂದಿಗೂ JavaScript ಅನ್ನು ಎಕ್ಸಿಕ್ಯೂಟ್ (execute) ಮಾಡುವುದಿಲ್ಲ. ಇದರ ಪರಿಣಾಮವಾಗಿ, ಯಾವುದೇ AI ಅಸಿಸ್ಟೆಂಟ್ ಮೂಲಕ ಕಾಣಿಸಿಕೊಳ್ಳಲಾಗದ ಉನ್ನತ ಶ್ರೇಣಿಯ ಸೈಟ್ ಸೃಷ್ಟಿಯಾಗುತ್ತದೆ.

AI ಕ್ರಾಲರ್‌ಗಳು ನಿಮ್ಮ ಕಂಟೆಂಟ್ ಅನ್ನು ಏಕೆ ತಪ್ಪಿಸಿಕೊಳ್ಳುತ್ತವೆ

ವ್ಯಾಪಕವಾಗಿ ಬಳಸಲಾಗುವ ಎರಡು AI ಕ್ರಾಲರ್‌ಗಳು—OpenAI ನ GPTBot ಮತ್ತು Anthropic ನ ClaudeBot—JavaScript ಅನ್ನು ರಿಸಲ್ಟ್ ಮಾಡುವುದಿಲ್ಲ (render ಮಾಡುವುದಿಲ್ಲ). Vercel ಮತ್ತು MERJ ನಡೆಸಿದ ಡಿಸೆಂಬರ್ 2024 ರ ಅಧ್ಯಯನವು, ಎರಡೂ ಬಾಟ್‌ಗಳು ಕೇವಲ ರ (raw) HTML ಮತ್ತು ಯಾವುದೇ ಲಿಂಕ್ ಮಾಡಲಾದ JavaScript ಫೈಲ್‌ಗಳನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ ಅಲ್ಲಿಗೆ ನಿಲ್ಲುತ್ತವೆ ಎಂದು ತೋರಿಸಿದೆ. ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳನ್ನು ಎಂದಿಗೂ ರನ್ ಮಾಡಲಾಗುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಬಾಟ್‌ಗಳು ಕೇವಲ ಖಾಲಿ ಶೆಲ್ ಅನ್ನು ಮಾತ್ರ ನೋಡುತ್ತವೆ.

ಇದಕ್ಕೆ ವ್ಯತಿರಿಕ್ತವಾಗಿ, Googlebot ಪುಟವನ್ನು ಕ್ಯೂ (queue) ಮಾಡುತ್ತದೆ, ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳನ್ನು ಎಕ್ಸಿಕ್ಯೂಟ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಪರಿಣಾಮಕಾರಿ DOM ಅನ್ನು ಇಂಡೆಕ್ಸ್ ಮಾಡುತ್ತದೆ. ಈ ಮೂಲಭೂತ ವ್ಯತ್ಯಾಸವು ಎಂದರೆ ಕೇವಲ ಕ್ಲೈಂಟ್-ಸೈಡ್ ಫ್ರೇಮ್‌ವರ್ಕ್ (React, Vue, ಇತ್ಯಾದಿ) ಬಳಸಿ ನಿರ್ಮಿಸಲಾದ ಸೈಟ್ Google ಗೆ ಸಂಪೂರ್ಣವಾಗಿ ಕಾಣಿಸಬಹುದಾದ ಆದರೆ AI ಚಾಲಿತ ಸರ್ಚ್‌ಗಳಿಗೆ ಬ್ಲಾಂಕ್ ಸ್ಲೇಟ್ ಆಗಿ ಉಳಿಯಬಹುದು.

Google vs. AI: ರೆಂಡರಿಂಗ್ ಅಂತರ (The Rendering Gap)

Google ದೀರ್ಘಕಾಲದಿಂದ ಹೆಡ್‌ಲೆಸ್ ರೆಂಡರಿಂಗ್‌ನಲ್ಲಿ (headless rendering) ಹೂಡಿಕೆ ಮಾಡಿದೆ. ಅದರ ಬಾಟ್ ಸಂಕೀರ್ಣ ಸಿಂಗಲ್-ಪೇಜ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ಪ್ರೊಸೆಸ್ ಮಾಡಬಲ್ಲದು, ಅವುಗಳನ್ನು ಹೈಡ್ರೇಟ್ (hydrate) ಮಾಡಬಲ್ಲದು ಮತ್ತು ಆರಂಭಿಕ ಲೋಡ್ ನಂತರ ಕಾಣಿಸಿಕೊಳ್ಳುವ ಸ್ಟ್ರಕ್ಚರ್ಡ್ ಡೇಟಾವನ್ನು ಹೊರತೆಗೆಯಬಲ್ಲದು. ಆದರೆ, AI ಕ್ರಾಲರ್‌ಗಳು ಇನ್ನೂ "ಡೌನ್‌ಲೋಡ್-ಓನ್ಲಿ" ಮೋಡ್‌ನಲ್ಲಿವೆ. ಅವು react-helmet ನಂತಹ ಟೂಲ್‌ಗಳ ಮೂಲಕ ಇಂಜೆಕ್ಟ್ ಮಾಡಲಾದ JSON-LD ಅನ್ನು ಪಾರ್ಸ್ ಮಾಡಬಹುದು, ಆದರೆ ಆ ಮಾರ್ಕಪ್ (markup) ರ HTML ನಲ್ಲಿ ಇದ್ದರೆ ಮಾತ್ರ.

ಡೆವಲಪರ್ ಟೂಲ್‌ಗಳು ದಾರಿ ತಪ್ಪಿಸಬಹುದು. Chrome ನಲ್ಲಿನ Elements ಪ್ಯಾನಲ್ JavaScript ರನ್ ಆದ ನಂತರ ಪುಟವನ್ನು ತೋರಿಸುತ್ತದೆ, ಇದು ಮಾರ್ಕಪ್ ಮೂಲದ (source) ಭಾಗವಾಗಿದೆ ಎಂಬ ತಪ್ಪು ಕಲ್ಪನೆಯನ್ನು ನೀಡುತ್ತದೆ. “view-source” (ಅಥವಾ ಬ್ರೌಸರ್ ಇಲ್ಲದೆ curl) ಬಳಸುವುದು ಬಾಟ್ ವಾಸ್ತವವಾಗಿ ಏನನ್ನು ಪಡೆಯುತ್ತದೆ ಎಂಬುದನ್ನು ಬಹಿರಂಗಪಡಿಸುತ್ತದೆ. ಅಲ್ಲಿ ಕಂಟೆಂಟ್ ಅಥವಾ ಸ್ಟ್ರಕ್ಚರ್ಡ್ ಡೇಟಾ ಇಲ್ಲದಿದ್ದರೆ, AI ಕ್ರಾಲರ್‌ಗಳು ಅದನ್ನು ಎಂದಿಗೂ ನೋಡುವುದಿಲ್ಲ.

ಈ ಸಮಸ್ಯೆ ಹೇಗೆ ಎದುರಾಗುತ್ತದೆ

ಕ್ಲೈಂಟ್-ಸೈಡ್ ರೆಂಡರಿಂಗ್ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುವ ಸಾಮಾನ್ಯ React ಸೈಟ್ "best coffee maker" ಅಥವಾ "how to fix a leaky faucet" ನಂತಹ ಕೀವರ್ಡ್‌ಗಳಿಗಾಗಿ Google ನಲ್ಲಿ ಉನ್ನತ ಶ್ರೇಣಿಯಲ್ಲಿ ಇರಬಹುದು. ಆದರೂ, "What are the best coffee makers?" ಎಂದು ChatGPT ಗೆ ಕೇಳುವ ಬಳಕೆದಾರರಿಗೆ ಆ ಸೈಟ್ ಅನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬಿಟ್ಟುಬಿಟ್ಟ ಉತ್ತರಗಳು ಸಿಗುತ್ತವೆ. ChatGPT ನ ಏಜೆಂಟ್ ಕ್ವೇರಿಗಳ ಸುಮಾರು 92% ಅನ್ನು ನೀಡುವ Bing ನ AI ಗೂ ಇದೇ ಅಂತರವಿದೆ. Bing ನ JavaScript ರೆಂಡರಿಂಗ್ ಸಾಮರ್ಥ್ಯಗಳು ಸೀಮಿತವಾಗಿವೆ, ಆದ್ದರಿಂದ ಕ್ಲೈಂಟ್-ಸೈಡ್ ಮಾತ್ರ ಇರುವ ಸೈಟ್ ಎರಡೂ ಪ್ರಮುಖ AI ಸರ್ಚ್ ಪ್ರೊವೈಡರ್‌ಗಳಿಗೆ ಕಾಣಿಸದಿರಬಹುದು.

ಈ ಸಮಸ್ಯೆ ಮೌನವಾಗಿರುತ್ತದೆ. Google ಶ್ರೇಯಾಂಕವನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡುವ SEO ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ಗಳು ಉತ್ತಮ ಸ್ಥಾನವನ್ನು ವರದಿ ಮಾಡುತ್ತವೆ, ಆದರೆ AI ಅಸಿಸ್ಟೆಂಟ್‌ಗಳಿಂದ ಸೈಟ್‌ಗೆ ಬರುವ ಟ್ರಾಫಿಕ್ ಶೂನ್ಯವಾಗಿರುತ್ತದೆ. ಹೆಚ್ಚಿನ ಬಳಕೆದಾರರು ತ್ವರಿತ ಉತ್ತರಗಳಿಗಾಗಿ ಸಂಭಾಷಣಾತ್ಮಕ ಇಂಟರ್ಫೇಸ್‌ಗಳನ್ನು (conversational interfaces) ಅವಲಂಬಿಸುತ್ತಿದ್ದಂತೆ, ಈ ವ್ಯತ್ಯಾಸವು ವ್ಯವಹಾರಗಳಿಗೆ ಡಿಸ್ಕವರಿ ಟ್ರಾಫಿಕ್‌ನ ದೊಡ್ಡ ಪಾಲನ್ನು ಕಳೆದುಕೊಳ್ಳುವಂತೆ ಮಾಡಬಹುದು.

ડેವಲಪರ್‌ಗಳು ಮಾಡುತ್ತಿರುವ ತಪ್ಪುಗಳೇನು

ಅನೇಕ ತಂಡಗಳು Google ಪುಟವನ್ನು ಓದಬಲ್ಲದಾದರೆ, ಯಾವುದೇ ಕ್ರಾಲರ್ ಕೂಡ ಓದಬಲ್ಲದು ಎಂದು ಭಾವಿಸುತ್ತವೆ. ಅವರು ಹೆಚ್ಚಾಗಿ:

  • ಪುಟ ಲೋಡ್ ಆದ ನಂತರ JSON-LD ಅನ್ನು ಇಂಜೆಕ್ಟ್ ಮಾಡಲು react-helmet ಅಥವಾ ಅಂತಹ ಲೈಬ್ರರಿಗಳನ್ನು ಅವಲಂಬಿಸಿ, ಮಾರ್ಕಪ್ ಅಲ್ಲಿ "ಇದೆ" ಎಂದು ನಂಬುವುದು.
  • ಕೇವಲ ಬ್ರೌಸರ್‌ನ Elements ವ್ಯೂನಲ್ಲಿ ಮಾತ್ರ ಪರೀಕ್ಷಿಸುವುದು, ರ (raw) ಸೋರ್ಸ್‌ನಲ್ಲಿ ಅಲ್ಲ.
  • ಸರಳ curl ಚೆಕ್ ಅನ್ನು ಬಿಟ್ಟುಬಿಡುವುದು, ಇದರಿಂದ ಹೆಡ್‌ಲೈನ್ ಅಥವಾ ಪ್ರಮುಖ ಪದಗಳು ಆರಂಭಿಕ HTML ರೆಸ್ಪಾನ್ಸ್‌ನಲ್ಲಿ ಎಂದಿಗೂ ಕಾಣಿಸಿಕೊಳ್ಳುವುದಿಲ್ಲ ಎಂಬ ಸತ್ಯವನ್ನು ಮಿಸ್ ಮಾಡಿಕೊಳ್ಳುತ್ತಾರೆ.

ಈ ಅಭ್ಯಾಸಗಳು SEO ಆರೋಗ್ಯದ ಭ್ರಮೆಯನ್ನು ನೀಡುತ್ತವೆ ಆದರೆ ಸೈಟ್ ಅನ್ನು AI ಸರ್ಚ್‌ಗೆ ಅಂಧವಾಗಿಸುತ್ತವೆ.

ಇದನ್ನು ಹೇಗೆ ಸರಿಪಡಿಸುವುದು

ಪರಿಹಾರವೆಂದರೆ ಮೊದಲ HTTP ರೆಸ್ಪಾನ್ಸ್‌ನಲ್ಲಿ ನೈಜ ಕಂಟೆಂಟ್ ಅನ್ನು ಒದಗಿಸುವುದು. ಮೂರು ಸಾಬೀತಾದ ವಿಧಾನಗಳು ಕೆಲಸ ಮಾಡುತ್ತವೆ:

  • Server-Side Rendering (SSR) – ಸರ್ವರ್ JavaScript ಅನ್ನು ರನ್ ಮಾಡುತ್ತದೆ, ಪೂರ್ಣ HTML ಅನ್ನು ರೆಂಡರ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಅದನ್ನು ಕ್ಲೈಂಟ್‌ಗೆ ಕಳುಹಿಸುತ್ತದೆ. ಪುಟವು ಈಗಾಗಲೇ ಮಾಹಿತಿಯಿಂದ ತುಂಬಿದ ಸ್ಥಿತಿಯಲ್ಲಿ ಬರುತ್ತದೆ.
  • Static Generation – ಬಿಲ್ಡ್ ಸಮಯದಲ್ಲಿ, ಫ್ರೇಮ್‌ವರ್ಕ್ ಎಲ್ಲಾ ಕಂಟೆಂಟ್ ಒಳಗೊಂಡಿರುವ ಸ್ಟ್ಯಾಟಿಕ್ HTML ಫೈಲ್‌ಗಳನ್ನು ರಚಿಸುತ್ತದೆ. ಯಾವುದೇ ರನ್‌ಟೈಮ್ ರೆಂಡರಿಂಗ್ ಅಗತ್ಯವಿಲ್ಲ.
  • Prerendering – ಮಿಡ್ಲ್‌ವೇರ್ ಸೇವೆ ಪುಟವನ್ನು ಒಮ್ಮೆ ರೆಂಡರ್ ಮಾಡುತ್ತದೆ, ಫಲಿತಾಂಶವನ್ನು ಕ್ಯಾಶ್ (cache) ಮಾಡುತ್ತದೆ ಮತ್ತು ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಸ್ಟ್ಯಾಟಿಕ್ ಸ್ನ್ಯಾಪ್‌ಶಾಟ್ ಅನ್ನು ನೀಡುತ್ತದೆ.

Next.js (React) ಮತ್ತು Nuxt (Vue) ನಂತಹ ಫ್ರೇಮ್‌ವರ್ಕ್‌ಗಳು ಈ ತಂತ್ರಗಳಿಗಾಗಿ ಅಂತರ್ನಿರ್ಮಿತ ಬೆಂಬಲವನ್ನು ಒದಗಿಸುತ್ತವೆ. ಸಂಪೂರ್ಣ ಕ್ಲೈಂಟ್-ಸೈಡ್ ಬಂಡಲ್‌ನಿಂದ ಮೇಲಿನ ವಿಧಾನಗಳಲ್ಲಿ ಒಂದಕ್ಕೆ ಬದಲಾಯಿಸುವುದು Googlebot ಮತ್ತು AI ಕ್ರಾಲರ್‌ಗಳು ಎರಡೂ ಒಂದೇ ಕಂಟೆಂಟ್ ಅನ್ನು ನೋಡುವಂತೆ ಖಚಿತಪಡಿಸುತ್ತದೆ.

ಒಂದು ಸಣ್ಣ ಸ್ಯಾನಿಟಿ ಟೆಸ್ಟ್ (sanity test):

curl -s https://yourpage.com | grep "your headline text"

ಒಂದು ವೇಳೆ ಕಮಾಂಡ್ ಏನನ್ನೂ ನೀಡದಿದ್ದರೆ, ಹೆಡ್‌ಲೈನ್ ರ HTML ನಲ್ಲಿ ಇಲ್ಲ ಎಂದರ್ಥ ಮತ್ತು AI ಬಾಟ್‌ಗಳು ಅದನ್ನು ತಪ್ಪಿಸಿಕೊಳ್ಳುತ್ತವೆ.

ಗಮನಿಸಬೇಕಾದ ಅಂಶಗಳು

ಪ್ರಸ್ತುತ ಸ್ಥಿತಿಯು ಸ್ಪಷ್ಟವಾದ ಅಸಮತೋಲನವಾಗಿದೆ: Google ನ ರೆಂಡರಿಂಗ್ ಇಂಜಿನ್ ಅತ್ಯಾಧುನಿಕವಾಗಿದೆ; AI ಕ್ರಾಲರ್‌ಗಳು ಅಷ್ಟ程度ದಲ್ಲಿಲ್ಲ. ಈ ಅಂತರವನ್ನು ಬಹಿರಂಗಪಡಿಸಿದ ಅಧ್ಯಯನವು ಕೇವಲ ಕೆಲವು ತಿಂಗಳ ವಯಸ್ಸಿನದ್ದಾಗಿದೆ ಮತ್ತು OpenAI ಮತ್ತು Anthropic ಎರಡೂ ತಮ್ಮ ಇಂಡೆಕ್ಸಿಂಗ್ ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಸುಧಾರಿಸುವಲ್ಲಿ ಆಸಕ್ತಿ ತೋರಿಸಿವೆ. ಆದರೂ, ಪೂರ್ಣ JavaScript ಎಕ್ಸಿಕ್ಯೂಶನ್ ಶೀಘ್ರದಲ್ಲೇ ಸೇರ್ಪಡೆಯಾಗುತ್ತದೆ ಎಂದು ಯಾವುದೇ ಸಾರ್ವಜನಿಕ ರೋಡ್‌ಮ್ಯಾಪ್ ಖಾತರಿ ನೀಡಿಲ್ಲ.

ಈ ಮಧ್ಯೆ, ಈ ಸಮಸ್ಯೆಯನ್ನು ನಿರ್ಲಕ್ಷಿಸುವುದರಿಂದ ಉಂಟಾಗುವ ಪರಿಣಾಮವು ಬದಲಾಗಿದೆ. ಹತ್ತು ವರ್ಷಗಳ ಹಿಂದೆ, ಗೂಗಲ್ ಇಂಡೆಕ್ಸಿಂಗ್ (Google indexing) chậmವಾಗುವುದು ದೊಡ್ಡ ಸಮಸ್ಯೆಯಾಗಿತ್ತು; ಆದರೆ ಇಂದು, ಅತ್ಯಂತ ವೇಗವಾಗಿ ಬೆಳೆಯುತ್ತಿರುವ ಡಿಸ್ಕವರಿ ಚಾನೆಲ್ ಆದ AI-ಚಾಲಿತ ಸರ್ಚ್‌ನಿಂದ (AI-driven search) ಹೊರಗುಳಿಯುವುದು ದೊಡ್ಡ ನಷ್ಟವಾಗಿದೆ. ಆರ್ಗ್ಯಾನಿಕ್ ಟ್ರಾಫಿಕ್ (organic traffic) ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುವ ಕಂಪನಿಗಳು ತಮ್ಮ ಪುಟಗಳನ್ನು ರೊ-ಸೋರ್ಸ್ ಟೂಲ್ಸ್ (raw-source tools) ಬಳಸಿ ಆಡಿಟ್ ಮಾಡಬೇಕು, ಸಾಧ್ಯವಿರುವ ಕಡೆಗಳಲ್ಲಿ SSR ಅಥವಾ ಸ್ಟ್ಯಾಟಿಕ್ ಜನರೇಷನ್ (static generation) ಅಳವಡಿಸಿಕೊಳ್ಳಬೇಕು ಮತ್ತು AI-ನಿರ್ದಿಷ್ಟ ಇಂಡೆಕ್ಸಿಂಗ್ ವರದಿಗಳು ಲಭ್ಯವಾದಂತೆ ಅವುಗಳನ್ನು ಗಮನಿಸಬೇಕು.

ಸಾರಾಂಶ: ಒಂದು ಸೈಟ್ ಗೂಗಲ್ ರ‍್ಯಾಂಕಿಂಗ್‌ನಲ್ಲಿ (Google's rankings) ಪರಿಪೂರ್ಣವಾಗಿ ಕಂಡರೂ, ಅದು ಕೇವಲ ಕ್ಲೈಂಟ್-ಸೈಡ್ ರೆಂಡರಿಂಗ್ (client-side rendering) ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದ್ದರೆ ChatGPT ಮತ್ತು Bing AI ಗೆ ಅದಕ್ಕೆ ಕಾಣಿಸದಿರಬಹುದು. ಆರಂಭಿಕ HTML ಮೂಲಕ—ಅಂದರೆ SSR, ಸ್ಟ್ಯಾಟಿಕ್ ಜನರೇಷನ್ ಅಥವಾ ಪ್ರಿರೆಂಡರಿಂಗ್ (prerendering) ಮೂಲಕ—ಕಂಟೆಂಟ್ ಅನ್ನು ಒದಗಿಸುವುದು ಈ ಅಂತರವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಸಾಂಪ್ರದಾಯಿಕ ಹಾಗೂ AI ಸರ್ಚ್ ಎರಡರಲ್ಲೂ ನಿಮ್ಮ ಸೈಟ್ ಕಂಡುಬರಲು (discovery) ರಕ್ಷಣೆ ನೀಡುತ್ತದೆ.