Cloudflare ਨੇ AI ਕੰਪਨੀਆਂ ਨੂੰ ਪ੍ਰਕਾਸ਼ਕਾਂ ਨੂੰ ਭੁਗਤਾਨ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕਰਨ ਲਈ ਸਮਾਂ-ਸੀਮਾ ਤੈਅ ਕੀਤੀ

Cloudflare ਨੇ ਰਵਾਇਤੀ ਸਰਚ ਕ੍ਰੌਲਿੰਗ (search crawling) ਨੂੰ AI ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਏਜੈਂਟਿਕ ਸੇਵਾਵਾਂ ਤੋਂ ਵੱਖ ਕਰਨ ਲਈ ਇੱਕ ਇਤਿਹਾਸਕ ਨੀਤੀਗਤ ਤਬਦੀਲੀ ਦਾ ਐਲਾਨ ਕੀਤਾ ਹੈ। ਸਖ਼ਤ ਨਵੇਂ ਡਿਫੌਲਟ ਨਿਯਮ ਲਾਗੂ ਕਰਕੇ, ਐਜ ਕੰਪਿਊਟਿੰਗ ਦਿੱਗਜ ਦਾ ਉਦੇਸ਼ ਬੌਧਿਕ ਜਾਇਦਾਦ ਦੀ ਰੱਖਿਆ ਕਰਨਾ ਅਤੇ ਵੈੱਬ ਪ੍ਰਕਾਸ਼ਕਾਂ ਲਈ ਇੱਕ ਟਿਕਾਊ ਆਰਥਿਕ ਈਕੋਸਿਸਟਮ ਬਣਾਉਣਾ ਹੈ।

"ਮਿਕਸਡ-ਯੂਜ਼" (Mixed-Use) ਕ੍ਰੌਲਰਾਂ ਦਾ ਅੰਤ

ਮੌਜੂਦਾ ਡਾਟਾ-ਸਕ੍ਰੈਪਿੰਗ ਸਥਿਤੀ ਨੂੰ ਸਿੱਧਾ ਚੁਣੌਤੀ ਦਿੰਦੇ ਹੋਏ, Cloudflare ਨੇ "ਮਿਕਸਡ-ਯੂਜ਼" ਕ੍ਰੌਲਰਾਂ ਦੇ ਵਾਧੇ ਨੂੰ ਸੰਭਾਲਣ ਲਈ 15 ਸਤੰਬਰ, 2026 ਦੀ ਸਮਾਂ-ਸੀਮਾ ਤੈਅ ਕੀਤੀ ਹੈ। ਇਹ ਉਹ ਬੋਟਸ ਹਨ ਜੋ ਰਵਾਇਤੀ ਸਰਚ ਇੰਡੈਕਸਿੰਗ ਨੂੰ AI ਮਾਡਲ ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਏਜੈਂਟਿਕ ਕਾਰਜਾਂ ਨਾਲ ਮਿਲਾਉਂਦੇ ਹਨ। ਉਸ ਮਿਤੀ ਤੋਂ, Cloudflare ਦੀਆਂ ਡਿਫੌਲਟ ਸੈਟਿੰਗਾਂ ਇਨ੍ਹਾਂ ਹਾਈਬ੍ਰਿਡ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕਿਸੇ ਵੀ ਅਜਿਹੇ ਪੇਜ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਤੋਂ ਆਪਣੇ ਆਪ ਰੋਕ ਦੇਣਗੀਆਂ ਜਿੱਥੇ ਵਿਗਿਆਪਨ (advertisements) ਹਨ।

ਇਹ ਨੀਤੀਗਤ ਤਬਦੀਲੀ ਸਾਰੇ ਨਵੇਂ Cloudflare ਗਾਹਕਾਂ, ਮੌਜੂਦਾ ਗਾਹਕਾਂ ਦੁਆਰਾ ਬਣਾਈਆਂ ਗਈਆਂ ਨਵੀਆਂ ਸਾਈਟਾਂ, ਅਤੇ ਸਾਰੇ ਮੌਜੂਦਾ ਫ੍ਰੀ-ਟਾਇਰ (free-tier) ਉਪਭੋਗਤਾਵਾਂ 'ਤੇ ਲਾਗੂ ਹੁੰਦੀ ਹੈ। ਇਸ ਦਾ ਉਦੇਸ਼ AI ਕੰਪਨੀਆਂ ਨੂੰ ਆਪਣੇ ਇਰਾਦੇ ਨੂੰ ਸਪੱਸ਼ਟ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕਰਨਾ ਹੈ: ਜੇਕਰ ਕੋਈ ਬੋਟ ਸਰਚ ਲਈ ਕਿਸੇ ਸਾਈਟ ਨੂੰ ਇੰਡੈਕਸ ਕਰਨਾ ਚਾਹੁੰਦਾ ਹੈ, ਤਾਂ ਇਹ ਇੱਕ ਰਸਤਾ ਅਪਣਾਉਂਦਾ ਹੈ; ਜੇਕਰ ਇਹ Large Language Model (LLM) ਨੂੰ ਟ੍ਰੇਨ ਕਰਨ ਲਈ ਡਾਟਾ ਲੈਣਾ ਚਾਹੁੰਦਾ ਹੈ, ਤਾਂ ਇਸ ਨੂੰ ਦੂਜਾ ਰਸਤਾ ਅਪਣਾਉਣਾ ਪਵੇਗਾ—ਜਿਸ ਵਿੱਚ ਸੰਭਾਵੀ ਤੌਰ 'ਤੇ ਮੁਆਵਜ਼ੇ ਦੀ ਲੋੜ ਹੋਵੇਗੀ।

ਸਰਚ ਦਿੱਗਜ ਦੇ ਦਬਦਬੇ ਨੂੰ ਚੁਣੌਤੀ ਦੇਣਾ

ਇਸ ਫੈਸਲੇ ਦੇ ਪਿੱਛੇ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਾਰਨ ਪ੍ਰਮੁੱਖ ਸਰਚ ਇੰਜਣਾਂ ਕੋਲ ਮੌਜੂਦ ਮੰਨਿਆ ਜਾਣ ਵਾਲਾ ਅਨੁਚਿਤ ਫਾਇਦਾ ਹੈ। Cloudflare ਨੇ ਖਾਸ ਤੌਰ 'ਤੇ ਇਸ ਗੱਲ 'ਤੇ ਜ਼ੋਰ ਦਿੱਤਾ ਕਿ ਦੁਨੀਆ ਦਾ ਸਭ ਤੋਂ ਵੱਡਾ ਸਰਚ ਇੰਜਣ—ਜਿਸ ਨੂੰ ਵਿਆਪਕ ਤੌਰ 'ਤੇ Google ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ—ਦੇ ਕੋਲ ਇਸ ਸਮੇਂ ਆਪਣੇ AI ਪ੍ਰਤੀਯੋਗੀਆਂ ਨਾਲੋਂ ਲਗਭਗ "2 ਗੁਣਾ ਜ਼ਿਆਦਾ ਜਾਣਕਾਰੀ" ਤੱਕ ਪਹੁੰਚ ਹੈ।

ਹਾਲਾਂਕਿ Google "Google Extended" ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ ਤਾਂ ਜੋ ਪ੍ਰਕਾਸ਼ਕ ਸਰਚ ਵਿਜ਼ੀਬਿਲਟੀ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕੀਤੇ ਬਿਨਾਂ AI ਟ੍ਰੇਨਿੰਗ ਤੋਂ ਬਾਹਰ ਰਹਿ ਸਕਣ, ਪਰ ਇਸਦਾ ਮੁੱਖ Googlebot AI Overviews ਵਰਗੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਚਲਾਉਣ ਲਈ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਕ੍ਰੌਲ ਕਰਨਾ ਜਾਰੀ ਰੱਖਦਾ ਹੈ। Cloudflare ਦਾ ਦਖਲਅੰਦਾਜ਼ੀ ਮੈਦਾਨ ਨੂੰ ਬਰਾਬਰ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ, ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ AI ਕੰਪਨੀਆਂ ਆਪਣੇ ਮਾਡਲਾਂ ਨੂੰ ਮੁਫ਼ਤ ਵਿੱਚ ਟ੍ਰੇਨ ਕਰਨ ਲਈ ਸਰਚ ਇੰਜਣਾਂ ਦੀ ਵਿਸ਼ਾਲ ਇੰਡੈਕਸਿੰਗ ਸਮਰੱਥਾ ਦਾ ਗਲਤ ਫਾਇਦਾ ਨਾ ਉਠਾ ਸਕਣ।

"Pay Per Use" ਮਾਡਲਾਂ ਵੱਲ ਵਧਣਾ

ਸਿਰਫ਼ ਰੋਕਣ ਤੋਂ ਇਲਾਵਾ, Cloudflare ਸਰਗਰਮੀ ਨਾਲ ਇੱਕ ਨਵੀਂ ਕੰਟੈਂਟ ਇਕਾਨਮੀ (content economy) ਲਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਤਿਆਰ ਕਰ ਰਿਹਾ ਹੈ। ਕੰਪਨੀ ਆਪਣੇ "Pay Per Crawl" ਮਾਰਕੀਟਪਲੇਸ ਨੂੰ ਇੱਕ ਵਧੇਰੇ ਉੱਨਤ "Pay Per Use" ਮਾਡਲ ਵਿੱਚ ਬਦਲ ਰਹੀ ਹੈ। ਇਸ ਢਾਂਚੇ ਦੇ ਤਹਿਤ, ਪ੍ਰਕਾਸ਼ਕ AI ਕੰਪਨੀਆਂ ਤੋਂ ਨਾ ਸਿਰਫ਼ ਡਾਟਾ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਸਗੋਂ ਉਦੋਂ ਵੀ ਚਾਰਜ ਕਰ ਸਕਦੇ ਹਨ ਜਦੋਂ ਉਹ ਕੰਟੈਂਟ ਅਸਲ ਵਿੱਚ ਮੁੱਲ ਪੈਦਾ ਕਰਦਾ ਹੈ।

ਇਸ ਦੀ ਸ਼ੁਰੂਆਤ ਕਰਨ ਲਈ, Cloudflare Ceramic.ai ਅਤੇ You.com ਨਾਲ ਭਾਈਵਾਲੀ ਕਰ ਰਿਹਾ ਹੈ। ਇਹਨਾਂ ਭਾਈਵਾਲੀਆਂ ਰਾਹੀਂ, ਪ੍ਰਕਾਸ਼ਕਾਂ ਨੂੰ ਸਿੱਧਾ ਮੁਆਵਜ਼ਾ ਮਿਲ ਸਕਦਾ ਹੈ ਜਦੋਂ ਉਹਨਾਂ ਦਾ ਕੰਟੈਂਟ Ceramic ਦੇ AI ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ ਜਾਂ ਜਦੋਂ You.com ਪ੍ਰੀਮੀਅਮ ਸਮੱਗਰੀ ਤੱਕ ਪਹੁੰਚ ਕਰਦਾ ਹੈ। ਇਹ ਤਬਦੀਲੀ ਮੌਜੂਦਾ ਵੈੱਬ ਵਿੱਚ ਇੱਕ ਗੰਭੀਰ ਅਕੁਸ਼ਲਤਾ ਨੂੰ ਹੱਲ ਕਰਦੀ ਹੈ: Cloudflare ਦੇ ਡਾਟਾ ਤੋਂ ਪਤਾ ਲੱਗਦਾ ਹੈ ਕਿ 50% ਤੋਂ ਵੱਧ AI ਕ੍ਰੌਲਰ ਟ੍ਰੈਫਿਕ ਬਦਲੇ ਹੋਏ ਪੇਜਾਂ ਨੂੰ ਦੁਬਾਰਾ ਪ੍ਰਾਪਤ ਕਰਨ ਵਿੱਚ ਬਰਬਾਦ ਹੁੰਦਾ ਹੈ, ਇੱਕ ਅਜਿਹੀ ਪ੍ਰਕਿਰਿਆ ਜੋ ਪ੍ਰਕਾਸ਼ਕਾਂ ਦੀ ਬੈਂਡਵਿਡਥ ਅਤੇ AI ਕੰਪਿਊਟ ਸਰੋਤਾਂ ਦੋਵਾਂ ਨੂੰ ਖਤਮ ਕਰਦੀ ਹੈ।

AI ਲੈਂਡਸਕੇਪ ਲਈ ਇਹ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ

ਕਿਉਂਕਿ ਇੰਟਰਨੈਟ 'ਤੇ ਹੁਣ ਗੈਰ-ਮਨੁੱਖੀ ਟ੍ਰੈਫਿਕ ਮਨੁੱਖੀ ਟ੍ਰੈਫਿਕ ਤੋਂ ਅੱਗੇ ਨਿਕਲ ਗਿਆ ਹੈ, "ਸਭ ਕੁਝ ਮੁਫ਼ਤ ਵਿੱਚ ਸਕ੍ਰੈਪ ਕਰੋ" ਦਾ ਯੁੱਗ ਹੁਣ ਅੰਤ ਵੱਲ ਵਧ ਰਿਹਾ ਹੈ। Cloudflare ਦਾ ਇਹ ਕਦਮ ਇੱਕ ਵਧੇਰੇ ਨਿਯਮਤ ਅਤੇ ਲੈਣ-ਦੇਣ ਵਾਲੇ ਵੈੱਬ ਵੱਲ ਤਬਦੀਲੀ ਦਾ ਸੰਕੇਤ ਦਿੰਦਾ ਹੈ। AI ਡਿਵੈਲਪਰਾਂ ਲਈ, ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਬਿਨਾਂ ਕਿਸੇ ਰੁਕਾਵਟ ਦੇ, ਜ਼ੀਰੋ-ਲਾਗਤ ਡਾਟਾ ਪ੍ਰਾਪਤ ਕਰਨ ਦਾ ਯੁੱਗ ਖਤਮ ਹੋ ਰਿਹਾ ਹੈ, ਜਿਸ ਨਾਲ ਲੰਬੇ ਸਮੇਂ ਲਈ ਡਾਟਾ ਦੀ ਉਪਯੋਗਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਕੰਟੈਂਟ ਨਿਰਮਾਤਾਵਾਂ ਨਾਲ ਵਧੇਰੇ ਪਾਰਦਰਸ਼ੀ ਅਤੇ ਸਹਿਯੋਗੀ ਸਬੰਧਾਂ ਦੀ ਲੋੜ ਪਵੇਗੀ।

ਮੁੱਖ ਗੱਲਾਂ

• ਡਿਫੌਲਟ ਬਲੌਕਿੰਗ: 15 ਸਤੰਬਰ, 2026 ਤੋਂ, Cloudflare ਵਿਗਿਆਪਨ-ਸਮਰਥਿਤ ਪੇਜਾਂ ਤੋਂ "ਮਿਕਸਡ-ਯੂਜ਼" ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨ ਨੂੰ ਡਿਫੌਲਟ ਬਣਾ ਦੇਵੇਗਾ।
• ਮੋਨੇਟਾਈਜ਼ੇਸ਼ਨ ਵਿੱਚ ਤਬਦੀਲੀ: Cloudflare "Pay Per Crawl" ਤੋਂ "Pay Per Use" ਮਾਡਲ ਵੱਲ ਵਧ ਰਿਹਾ ਹੈ, ਜੋ ਪ੍ਰਕਾਸ਼ਕਾਂ ਨੂੰ ਕੰਟੈਂਟ ਦੇ ਮੁੱਲ ਦੇ ਅਧਾਰ 'ਤੇ AI ਕੰਪਨੀਆਂ ਤੋਂ ਚਾਰਜ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
• ਕਾਰਜਕੁਸ਼ਲਤਾ ਵਿੱਚ ਵਾਧਾ: ਨਵੀਂ ਨੀਤੀ ਦਾ ਉਦੇਸ਼ 50% AI ਕ੍ਰੌਲ ਟ੍ਰੈਫਿਕ ਨੂੰ ਘਟਾਉਣਾ ਹੈ ਜੋ ਇਸ ਸਮੇਂ ਬਦਲੇ ਹੋਏ ਵੈੱਬ ਪੇਜਾਂ ਨੂੰ ਦੁਬਾਰਾ ਪ੍ਰਾਪਤ ਕਰਨ ਵਿੱਚ ਬਰਬਾਦ ਹੁੰਦਾ ਹੈ।