ਤੁਹਾਡਾ ਪੇਜ Google 'ਤੇ ਨੰਬਰ 1 'ਤੇ ਰੈਂਕ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਫਿਰ ਵੀ ChatGPT ਲਈ ਅਦਿੱਖ ਰਹਿ ਸਕਦਾ ਹੈ

Google ਦਾ ਕਰੌਲਰ ਤੁਹਾਡੇ JavaScript ਨੂੰ ਚਲਾਉਂਦਾ ਹੈ, ਰੈਂਡਰ ਕੀਤੇ HTML ਨੂੰ ਆਪਣੇ ਇੰਡੈਕਸ ਵਿੱਚ ਲੈਂਦਾ ਹੈ, ਅਤੇ ਕਲਾਇੰਟ-ਸਾਈਡ ਰੈਂਡਰਡ ਸਾਈਟ ਨੂੰ ਸਰਚ ਰਿਜ਼ਲਟ ਦੇ ਪਹਿਲੇ ਪੇਜ 'ਤੇ ਰੱਖ ਸਕਦਾ ਹੈ। ਉਹੀ ਪੇਜ, ਜਦੋਂ ChatGPT ਜਾਂ Bing ਦੇ AI ਸਰਚ ਰਾਹੀਂ ਪੁੱਛਿਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਅਲੋਪ ਹੋ ਜਾਂਦਾ ਹੈ ਕਿਉਂਕਿ ਉਹਨਾਂ ਸੇਵਾਵਾਂ ਨੂੰ ਚਲਾਉਣ ਵਾਲੇ ਬੋਟਸ ਕਦੇ ਵੀ JavaScript ਨੂੰ ਐਗਜ਼ੀਕਿਊਟ (execute) ਨਹੀਂ ਕਰਦੇ। ਨਤੀਜਾ ਇੱਕ ਉੱਚ-ਰੈਂਕਿੰਗ ਵਾਲੀ ਸਾਈਟ ਹੁੰਦਾ ਹੈ ਜਿਸ ਨੂੰ ਕੋਈ ਵੀ AI ਸਹਾਇਕ ਸਾਹਮਣੇ ਨਹੀਂ ਲਿਆ ਸਕਦਾ।

AI ਕਰੌਲਰ ਤੁਹਾਡੇ ਕੰਟੈਂਟ ਨੂੰ ਕਿਉਂ ਮਿਸ ਕਰਦੇ ਹਨ

ਦੋ ਸਭ ਤੋਂ ਵੱਧ ਵਰਤੇ ਜਾਣ ਵਾਲੇ AI ਕਰੌਲਰ—OpenAI ਦਾ GPTBot ਅਤੇ Anthropic ਦਾ ClaudeBot—JavaScript ਨੂੰ ਬਿਲਕੁਲ ਵੀ ਰੈਂਡਰ ਨਹੀਂ ਕਰਦੇ। Vercel ਅਤੇ MERJ ਦੁਆਰਾ ਦਸੰਬਰ 2024 ਦੇ ਇੱਕ ਅਧਿਐਨ ਨੇ ਦਿਖਾਇਆ ਕਿ ਦੋਵੇਂ ਬੋਟਸ ਸਿਰਫ਼ ਰਅਅ (raw) HTML ਅਤੇ ਕਿਸੇ ਵੀ ਲਿੰਕ ਕੀਤੇ JavaScript ਫਾਈਲਾਂ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰਦੇ ਹਨ, ਅਤੇ ਫਿਰ ਰੁਕ ਜਾਂਦੇ ਹਨ। ਸਕ੍ਰਿਪਟਾਂ ਕਦੇ ਵੀ ਨਹੀਂ ਚਲਾਈਆਂ ਜਾਂਦੀਆਂ, ਇਸ ਲਈ ਬੋਟਸ ਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਖਾਲੀ ਸ਼ੈੱਲ (shell) ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ।

ਇਸ ਦੇ ਉਲਟ, Googlebot ਪੇਜ ਨੂੰ ਕਿਊ (queue) ਵਿੱਚ ਰੱਖਦਾ ਹੈ, ਸਕ੍ਰਿਪਟਾਂ ਨੂੰ ਚਲਾਉਂਦਾ ਹੈ, ਅਤੇ ਨਤੀਜਾਜਵਪਤ DOM ਨੂੰ ਇੰਡੈਕਸ ਕਰਦਾ ਹੈ। ਉਹ ਮੂਲ ਅੰਤਰ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਸਿਰਫ਼ ਕਲਾਇੰਟ-ਸਾਈਡ ਫਰੇਮਵਰਕ (React, Vue, ਆਦਿ) ਨਾਲ ਬਣੀ ਸਾਈਟ Google ਲਈ ਪੂਰੀ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦੇ ਸਕਦੀ ਹੈ, ਜਦੋਂ ਕਿ AI-ਡਰਾਈਵਨ ਸਰਚ ਲਈ ਇੱਕ ਖਾਲੀ ਪੰਨਾ ਬਣੀ ਰਹਿੰਦੀ ਹੈ।

Google ਬਨਾਮ AI: ਰੈਂਡਰਿੰਗ ਦਾ ਪਾੜਾ

Google ਨੇ ਲੰਬੇ ਸਮੇਂ ਤੋਂ headless rendering ਵਿੱਚ ਨਿਵੇਸ਼ ਕੀਤਾ ਹੈ। ਇਸਦਾ ਬੋਟ ਗੁੰਝਲਦਾਰ single-page applications ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰ ਸਕਦਾ ਹੈ, ਉਹਨਾਂ ਨੂੰ hydrate ਕਰ ਸਕਦਾ ਹੈ, ਅਤੇ ਉਹ structured data ਕੱਢ ਸਕਦਾ ਹੈ ਜੋ ਸ਼ੁਰੂਆਤੀ ਲੋਡ ਤੋਂ ਬਾਅਦ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ। ਹਾਲਾਂਕਿ, AI ਕਰੌਲਰ ਅਜੇ ਵੀ “download-only” ਮੋਡ ਵਿੱਚ ਹਨ। ਉਹ react-helmet ਵਰਗੇ ਟੂਲਜ਼ ਰਾਹੀਂ ਇੰਜੈਕਟ ਕੀਤੇ ਗਏ JSON-LD ਨੂੰ ਪਾਰਸ (parse) ਕਰ ਸਕਦੇ ਹਨ, ਪਰ ਸਿਰਫ਼ ਉਦੋਂ ਹੀ ਜੇ ਉਹ ਮਾਰਕਅੱਪ ਰਅਅ (raw) HTML ਵਿੱਚ ਮੌਜੂਦ ਹੋਵੇ।

ਡਿਵੈਲਪਰ ਟੂਲਜ਼ ਗੁੰਮਰਾਹ ਕਰ ਸਕਦੇ ਹਨ। Chrome ਵਿੱਚ Elements ਪੈਨਲ JavaScript ਚੱਲਣ ਬਾਅਦ ਪੇਜ ਦਿਖਾਉਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇਹ ਗਲਤ ਪ੍ਰਭਾਵ ਪੈਂਦਾ ਹੈ ਕਿ ਮਾਰਕਅੱਪ ਸੋਰਸ ਦਾ ਹਿੱਸਾ ਹੈ। “view-source” (ਜਾਂ ਬ੍ਰਾਊਜ਼ਰ ਤੋਂ ਬਿਨਾਂ curl) ਦੀ ਵਰਤੋਂ ਕਰਨ ਨਾਲ ਇਹ ਪਤਾ ਲੱਗਦਾ ਹੈ ਕਿ ਬੋਟ ਨੂੰ ਅਸਲ ਵਿੱਚ ਕੀ ਮਿਲਦਾ ਹੈ। ਜੇਕਰ ਕੰਟੈਂਟ ਜਾਂ structured data ਉੱਥੇ ਗੁੰਮ ਹੈ, ਤਾਂ AI ਕਰੌਲਰ ਇਸਨੂੰ ਕਦੇ ਨਹੀਂ ਦੇਖਣਗੇ।

ਸਮੱਸਿਆ ਕਿਵੇਂ ਸਾਹਮਣੇ ਆਉਂਦੀ ਹੈ

ਇੱਕ ਆਮ React ਸਾਈਟ ਜੋ client-side rendering 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ, ਉਹ “best coffee maker” ਜਾਂ “how to fix a leaky faucet” ਵਰਗੇ ਕੀਵਰਡਸ ਲਈ Google 'ਤੇ ਉੱਚੇ ਰੈਂਕ 'ਤੇ ਹੋਵੇਗੀ। ਫਿਰ ਵੀ, ਇੱਕ ਉਪਭੋਗਤਾ ਜੋ ChatGPT ਨੂੰ ਪੁੱਛਦਾ ਹੈ, “What are the best coffee makers?” ਉਸਨੂੰ ਅਜਿਹੇ ਜਵਾਬ ਮਿਲਣਗੇ ਜੋ ਉਸ ਸਾਈਟ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਛੱਡ ਦਿੰਦੇ ਹਨ। ਇਹੀ ਪਾੜਾ Bing ਦੇ AI ਲਈ ਵੀ ਮੌਜੂਦ ਹੈ, ਜੋ ChatGPT ਦੇ ਲਗਭਗ 92% ਏਜੰਟ ਕੁਐਰੀਆਂ (queries) ਨੂੰ ਸੇਵਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। Bing ਦੀ JavaScript ਰੈਂਡਰਿੰਗ ਸਮਰੱਥਾ ਸੀਮਤ ਹੈ, ਇਸ ਲਈ ਸਿਰਫ਼ client-side ਵਾਲੀ ਸਾਈਟ ਦੋਵਾਂ ਪ੍ਰਮੁੱਖ AI ਸਰਚ ਪ੍ਰੋਵਾਈਡਰਾਂ ਲਈ ਅਦਿੱਖ ਹੋ ਸਕਦੀ ਹੈ।

ਇਹ ਸਮੱਸਿਆ ਚੁੱਪਚਾਪ ਹੁੰਦੀ ਹੈ। Google ਰੈਂਕਿੰਗ ਨੂੰ ਟ੍ਰੈਕ ਕਰਨ ਵਾਲੇ SEO ਡੈਸ਼ਬੋਰਡ ਇੱਕ ਚੰਗੀ ਸਥਿਤੀ ਦੀ ਰਿਪੋਰਟ ਕਰਨਗੇ, ਜਦੋਂ ਕਿ AI ਸਹਾਇਕਾਂ ਤੋਂ ਸਾਈਟ ਦਾ ਟ੍ਰੈਫਿਕ ਜ਼ੀਰੋ ਰਹੇਗਾ। ਉਹ ਅੰਤਰ ਕਾਰੋਬਾਰਾਂ ਨੂੰ ਡਿਸਕਵਰੀ ਟ੍ਰੈਫਿਕ ਦੇ ਵਧਦੇ ਹਿੱਸੇ ਦਾ ਨੁਕਸਾਨ ਪਹੁੰਚਾ ਸਕਦਾ ਹੈ, ਖਾਸ ਕਰਕੇ ਜਦੋਂ ਵਧੇਰੇ ਉਪਭੋਗਤਾ ਤੇਜ਼ ਜਵਾਬਾਂ ਲਈ ਕਨਵਰਸੇਸ਼ਨਲ ਇੰਟਰਫੇਸ (conversational interfaces) 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ।

ਡਿਵੈਲਪਰ ਕੀ ਗਲਤ ਕਰ ਰਹੇ ਹਨ

ਬਹੁਤ ਸਾਰੀਆਂ ਟੀਮਾਂ ਇਹ ਮੰਨ ਲੈਂਦੀਆਂ ਹਨ ਕਿ ਜੇਕਰ Google ਪੇਜ ਨੂੰ ਪੜ੍ਹ ਸਕਦਾ ਹੈ, ਤਾਂ ਕੋਈ ਵੀ ਕਰੌਲਰ ਪੜ੍ਹ ਸਕਦਾ ਹੈ। ਉਹ ਅਕਸਰ:

  • react-helmet ਜਾਂ ਇਸ ਵਰਗੀਆਂ ਲਾਇਬ੍ਰੇਰੀਆਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ ਤਾਂ ਜੋ ਪੇਜ ਲੋਡ ਹੋਣ ਤੋਂ ਬਾਅਦ JSON-LD ਇੰਜੈਕਟ ਕੀਤਾ ਜਾ ਸਕੇ, ਇਹ ਮੰਨਦੇ ਹੋਏ ਕਿ ਮਾਰਕਅੱਪ “ਉੱਥੇ” ਹੈ।
  • ਸਿਰਫ਼ ਬ੍ਰਾਊਜ਼ਰ ਦੇ Elements view ਵਿੱਚ ਟੈਸਟ ਕਰਦੇ ਹਨ, ਰਅਅ (raw) ਸੋਰਸ ਵਿੱਚ ਨਹੀਂ।
  • ਇੱਕ ਸਧਾਰਨ curl ਚੈੱਕ ਨੂੰ ਛੱਡ ਦਿੰਦੇ ਹਨ, ਅਤੇ ਇਸ ਤੱਥ ਨੂੰ ਮਿਸ ਕਰ ਦਿੰਦੇ ਹਨ ਕਿ ਹੈੱਡਲਾਈਨ ਜਾਂ ਮੁੱਖ ਵਾਕ ਕਦੇ ਵੀ ਸ਼ੁਰੂਆਤੀ HTML ਰਿਸਪਾਂਸ ਵਿੱਚ ਨਹੀਂ ਦਿਖਾਈ ਦਿੰਦੇ।

ਇਹ ਅਭਿਆਸ SEO ਦੀ ਸਿਹ

ਇਸ ਦੌਰਾਨ, ਇਸ ਮੁੱਦੇ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨ ਦੀ ਕੀਮਤ ਬਦਲ ਗਈ ਹੈ। ਦਸ ਸਾਲ ਪਹਿਲਾਂ, ਇਸ ਦਾ ਨੁਕਸਾਨ Google ਇੰਡੈਕਸਿੰਗ ਦਾ ਹੌਲੀ ਹੋਣਾ ਸੀ; ਅੱਜ, ਇਹ ਸਭ ਤੋਂ ਤੇਜ਼ੀ ਨਾਲ ਵਧ ਰਹੇ ਖੋਜ ਚੈਨਲ—AI-driven search—ਤੋਂ ਬਾਹਰ ਹੋਣਾ ਹੈ। ਉਹ ਕੰਪਨੀਆਂ ਜੋ organic traffic 'ਤੇ ਨਿਰਭਰ ਹਨ, ਉਹਨਾਂ ਨੂੰ raw-source tools ਨਾਲ ਆਪਣੇ ਪੇਜਾਂ ਦਾ ਆਡਿਟ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਜਿੱਥੇ ਸੰਭਵ ਹੋਵੇ ਉੱਥੇ SSR ਜਾਂ static generation ਨੂੰ ਅਪਣਾਉਣਾ ਚਾਹੀਦਾ ਹੈ, ਅਤੇ ਜਿਵੇਂ ਹੀ AI-specific indexing ਰਿਪੋਰਟਾਂ ਉਪਲਬਧ ਹੁੰਦੀਆਂ ਹਨ, ਉਹਨਾਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ।

Takeaway: ਇੱਕ ਵੈੱਬਸਾਈਟ ਜੋ Google ਦੀ ਰੈਂਕਿੰਗ ਵਿੱਚ ਬਿਲਕੁਲ ਸਹੀ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ, ਉਹ ChatGPT ਅਤੇ Bing AI ਲਈ ਅਦਿੱਖ ਹੋ ਸਕਦੀ ਹੈ ਜੇਕਰ ਇਹ ਸਿਰਫ਼ client-side rendering 'ਤੇ ਨਿਰਭਰ ਹੈ। ਸ਼ੁਰੂਆਤੀ HTML ਵਿੱਚ—SSR, static generation, ਜਾਂ prerendering ਰਾਹੀਂ—ਕੰਟੈਂਟ ਪ੍ਰਦਾਨ ਕਰਨਾ ਇਸ ਪਾੜੇ ਨੂੰ ਭਰਦਾ ਹੈ ਅਤੇ ਰਵਾਇਤੀ ਅਤੇ AI search ਦੋਵਾਂ ਵਿੱਚ ਖੋਜ (discovery) ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਦਾ ਹੈ।