Cloudflare ਦੇ ਨਵੇਂ AI ਕ੍ਰੌਲਰ ਕੰਟਰੋਲ
ਵੈੱਬਸਾਈਟ ਟ੍ਰੈਫਿਕ ਬਦਲ ਰਿਹਾ ਹੈ।
ਪਹਿਲਾਂ, ਸਰਚ ਇੰਜਣ ਲੋਕਾਂ ਨੂੰ ਤੁਹਾਨੂੰ ਲੱਭਣ ਵਿੱਚ ਮਦਦ ਕਰਨ ਲਈ ਤੁਹਾਡੀ ਸਾਈਟ ਨੂੰ ਕ੍ਰੌਲ ਕਰਦੇ ਸਨ। ਇਹ ਇੱਕ ਸਧਾਰਨ ਸੌਦਾ ਸੀ। AI ਨੇ ਇਸ ਨੂੰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਗੁੰਝਲਦਾਰ ਬਣਾ ਦਿੱਤਾ ਹੈ।
ਇੱਕ ਬੋਟ ਸਰਚ ਰਿਜ਼ਲਟ ਵਿੱਚ ਦਿਖਾਉਣ ਲਈ ਤੁਹਾਡੇ ਪੇਜ ਨੂੰ ਕ੍ਰੌਲ ਕਰ ਸਕਦਾ ਹੈ। ਇਹ ਇੱਕ AI ਮਾਡਲ ਨੂੰ ਟ੍ਰੇਨ ਕਰਨ ਲਈ ਤੁਹਾਡੇ ਪੇਜ ਨੂੰ ਕ੍ਰੌਲ ਕਰਨ ਵਾਲੇ ਬੋਟ ਤੋਂ ਵੱਖਰਾ ਹੈ।
Cloudflare ਇਸ ਨੂੰ ਪ੍ਰਬੰਧਿਤ ਕਰਨ ਦੇ ਤੁਹਾਡੇ ਤਰੀਕੇ ਨੂੰ ਬਦਲ ਰਿਹਾ ਹੈ। 1 ਜੁਲਾਈ, 2026 ਨੂੰ, ਸਾਰੇ ਗਾਹਕਾਂ ਨੂੰ ਨਵੇਂ AI ਟ੍ਰੈਫਿਕ ਕੰਟਰੋਲ ਮਿਲਣਗੇ। ਇਹ ਤੁਹਾਨੂੰ ਟ੍ਰੈਫਿਕ ਨੂੰ ਤਿੰਨ ਸਮੂਹਾਂ ਵਿੱਚ ਵੰਡਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ:
- Search: ਉਹ ਬੋਟ ਜੋ ਸਰਚ ਇੰਜਣਾਂ ਜਾਂ AI ਉੱਤਰਾਂ ਲਈ ਕੰਟੈਂਟ ਨੂੰ ਇੰਡੈਕਸ ਕਰਦੇ ਹਨ।
- Agent: ਉਹ ਬੋਟ ਜੋ ਕਿਸੇ ਕੰਮ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ ਉਪਭੋਗਤਾ ਦੇ ਬਦਲੇ ਕੰਮ ਕਰਦੇ ਹਨ।
- Training: ਉਹ ਬੋਟ ਜੋ AI ਮਾਡਲਾਂ ਨੂੰ ਟ੍ਰੇਨ ਜਾਂ ਫਾਈਨ-ਟਿਊਨ ਕਰਨ ਲਈ ਡਾਟਾ ਇਕੱਠਾ ਕਰਦੇ ਹਨ।
ਇਹ ਤਬਦੀਲੀ ਵਿਜ਼ੀਬਿਲਟੀ (visibility) ਨੂੰ ਇੱਕ ਐਕਸੈਸ ਪਾਲਿਸੀ (access policy) ਦੇ ਫੈਸਲੇ ਵਿੱਚ ਬਦਲ ਦਿੰਦੀ ਹੈ। ਇਹ ਹੁਣ ਸਿਰਫ਼ ਇੱਕ SEO ਫੈਸਲਾ ਨਹੀਂ ਰਿਹਾ।
ਜੇਕਰ ਤੁਸੀਂ ਇੱਕ SaaS ਕੰਪਨੀ ਚਲਾਉਂਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਡੇ ਜਨਤਕ ਪੇਜ ਜਿਵੇਂ ਕਿ ਡਾਕੂਮੈਂਟੇਸ਼ਨ, ਪ੍ਰਾਈਸਿੰਗ, ਅਤੇ ਹੈਲਪ ਸੈਂਟਰ ਮੁੱਲ ਪੈਦਾ ਕਰਦੇ ਹਨ। ਉਹ ਤੁਹਾਨੂੰ ਗਾਹਕ ਪ੍ਰਾਪਤ ਕਰਨ ਅਤੇ ਉਹਨਾਂ ਦੀ ਸਹਾਇਤਾ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੇ ਹਨ।
ਤੁਹਾਨੂੰ ਇਹ ਫੈਸਲਾ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਕਿੰਨੀ ਪਹੁੰਚ (access) ਦੇਣਾ ਚਾਹੁੰਦੇ ਹੋ।
ਪੁਰਾਣਾ ਸਵਾਲ ਸੀ: ਕੀ ਸਰਚ ਇੰਜਣ ਸਾਨੂੰ ਲੱਭ ਸਕਦੇ ਹਨ? ਨਵਾਂ ਸਵਾਲ ਹੈ: ਕਿਹੜੇ ਆਟੋਮੇਟਿਡ ਸਿਸਟਮ ਸਾਡੀ ਸਾਈਟ ਦੀ ਵਰਤੋਂ ਕਰਨੇ ਚਾਹੀਦੇ ਹਨ, ਅਤੇ ਕਿਸ ਉਦੇਸ਼ ਲਈ?
ਸਾਰੇ AI ਬੋਟਸ ਨੂੰ ਇੱਕੋ ਜਿਹਾ ਨਾ ਸਮਝੋ।
Search ਬੋਟਸ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਤੁਹਾਡਾ ਉਤਪਾਦ ਲੱਭਣ ਵਿੱਚ ਮਦਦ ਕਰਦੇ ਹਨ। ਉਹਨਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਸੀਂ AI-ਪਾਵਰਡ ਸਰਚ ਰਿਜ਼ਲਟ ਵਿੱਚ ਅਦਿੱਖ ਹੋ ਸਕਦੇ ਹੋ।
AI agents ਲਾਭਦਾਇਕ ਹੋ ਸਕਦੇ ਹਨ। ਇੱਕ ਏਜੰਟ ਕਿਸੇ ਉਪਭੋਗਤਾ ਨੂੰ ਪਲਾਨਾਂ ਦੀ ਤੁਲਨਾ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਨ ਲਈ ਤੁਹਾਡੇ ਪ੍ਰਾਈਸਿੰਗ ਪੇਜ 'ਤੇ ਜਾ ਸਕਦਾ ਹੈ। ਹਾਲਾਂਕਿ, ਤੁਹਾਨੂੰ ਇਹ ਫੈਸਲਾ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਕੀ ਇਹਨਾਂ ਏਜੰਟਾਂ ਨੂੰ ਅਥੈਂਟੀਕੇਸ਼ਨ ਜਾਂ ਰੇਟ ਲਿਮਿਟਾਂ ਦੀ ਲੋੜ ਹੈ।
Training ਬੋਟਸ ਘੱਟ ਸਿੱਧਾ ਮੁੱਲ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ। ਉਹ ਮਾਡਲ ਬਣਾਉਣ ਲਈ ਤੁਹਾਡੇ ਕੰਟੈਂਟ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ ਪਰ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਤੁਹਾਡੀ ਸਾਈਟ 'ਤੇ ਵਾਪਸ ਨਹੀਂ ਭੇਜ ਸਕਦੇ। ਕਈ ਕੰਪਨੀਆਂ ਇਹਨਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਚੁਣਦੀਆਂ ਹਨ।
ਇੱਕ ਸਮਾਰਟ ਪਾਲਿਸੀ ਇਸ ਤਰ੍ਹਾਂ ਦੀ ਹੁੰਦੀ ਹੈ:
- Search ਬੋਟਸ ਨੂੰ ਤੁਹਾਡੇ ਉਤਪਾਦ ਅਤੇ ਹੈਲਪ ਪੇਜਾਂ ਨੂੰ ਇੰਡੈਕਸ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿਓ।
- User-directed agents ਨੂੰ ਜਨਤਕ ਡਾਕੂਮੈਂਟੇਸ਼ਨ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿਓ।
- Training ਬੋਟਸ ਲਈ ਐਕਸੈਸ ਨੂੰ ਬਲੌਕ ਕਰੋ ਜਾਂ ਲਾਇਸੈਂਸ ਦਿਓ।
- ਸਾਰੇ ਅਥੈਂਟੀਕੇਟਡ ਉਤਪਾਦ ਖੇਤਰਾਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੱਖੋ।
ਆਪਣੇ ਟ੍ਰੈਫਿਕ ਦੀ ਨਿਯਮਤ ਰੂਪ ਵਿੱਚ ਸਮੀਖਿਆ ਕਰੋ। ਕ੍ਰੌਲਰ ਸ਼੍ਰੇਣੀਆਂ, ਸਰਵਰ ਲੋਡ, ਅਤੇ ਸਰਚ ਵਿਜ਼ੀਬਿਲਟੀ 'ਤੇ ਨਜ਼ਰ ਰੱਖੋ।
ਟੀਚਾ ਹਰ ਬੋਟ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਨਹੀਂ ਹੈ। ਟੀਚਾ ਇਹ ਕੰਟਰੋਲ ਕਰਨਾ ਹੈ ਕਿ ਉਹ ਕੀ ਕਰਦੇ ਹਨ।