Cloudflare के नए AI क्रॉलर कंट्रोल्स
वेबसाइट ट्रैफिक बदल रहा है।
अतीत में, सर्च इंजन लोगों को आपको खोजने में मदद करने के लिए आपकी साइट को क्रॉल करते थे। यह एक सरल प्रक्रिया थी। AI ने इसे बहुत अधिक जटिल बना दिया है।
एक बॉट सर्च रिजल्ट में दिखाने के लिए आपके पेज को क्रॉल कर सकता है। यह AI मॉडल को ट्रेन करने के लिए आपके पेज को क्रॉल करने वाले बॉट से अलग है।
Cloudflare इसे मैनेज करने के आपके तरीके को बदल रहा है। 1 जुलाई, 2026 को, सभी ग्राहकों को नए AI ट्रैफिक कंट्रोल्स मिलेंगे। यह आपको ट्रैफिक को तीन समूहों में विभाजित करने की अनुमति देता है:
- Search: वे बॉट्स जो सर्च इंजन या AI उत्तरों के लिए कंटेंट को इंडेक्स करते हैं।
- Agent: वे बॉट्स जो किसी कार्य को पूरा करने के लिए उपयोगकर्ता की ओर से कार्य करते हैं।
- Training: वे बॉट्स जो AI मॉडल को ट्रेन या फाइन-ट्यून करने के लिए डेटा एकत्र करते हैं।
यह बदलाव विजिबिलिटी को एक एक्सेस पॉलिसी निर्णय में बदल देता है। यह अब केवल एक SEO निर्णय नहीं रह गया है।
यदि आप एक SaaS कंपनी चलाते हैं, तो आपके सार्वजनिक पेज जैसे कि डॉक्यूमेंटेशन, प्राइसिंग और हेल्प सेंटर्स वैल्यू पैदा करते हैं। वे आपको ग्राहक प्राप्त करने और उनका समर्थन करने में मदद करते हैं।
आपको यह तय करना होगा कि आप कितना एक्सेस देना चाहते हैं।
पुराना सवाल था: क्या सर्च इंजन हमें ढूंढ सकते हैं? नया सवाल है: किन ऑटोमेटेड सिस्टम्स को हमारी साइट का उपयोग करना चाहिए, और किस उद्देश्य के लिए?
सभी AI बॉट्स को एक जैसा न समझें।
सर्च बॉट्स उपयोगकर्ताओं को आपका प्रोडक्ट खोजने में मदद करते हैं। उन्हें ब्लॉक करने से आप AI-संचालित सर्च रिजल्ट्स में अदृश्य हो सकते हैं।
AI एजेंट्स उपयोगी हो सकते हैं। एक एजेंट किसी उपयोगकर्ता को प्लान की तुलना करने में मदद करने के लिए आपके प्राइसिंग पेज पर जा सकता है। हालाँकि, आपको यह तय करना होगा कि क्या इन एजेंट्स को ऑथेंटिकेशन या रेट लिमिट्स की आवश्यकता है।
ट्रेनिंग बॉट्स कम प्रत्यक्ष मूल्य प्रदान करते हैं। वे मॉडल बनाने के लिए आपके कंटेंट का उपयोग करते हैं लेकिन उपयोगकर्ताओं को आपकी साइट पर वापस नहीं भेज सकते हैं। कई कंपनियाँ इन्हें ब्लॉक करना चुनती हैं।
एक स्मार्ट पॉलिसी ऐसी दिखती है:
- सर्च बॉट्स को अपने प्रोडक्ट और हेल्प पेजों को इंडेक्स करने की अनुमति दें।
- यूजर-निर्देशित एजेंट्स को सार्वजनिक डॉक्यूमेंटेशन तक पहुँचने की अनुमति दें।
- ट्रेनिंग बॉट्स के लिए एक्सेस को ब्लॉक करें या लाइसेंस दें।
- सभी ऑथेंटिकेटेड प्रोडक्ट एरिया को सुरक्षित रखें।
अपने ट्रैफिक की नियमित रूप से समीक्षा करें। क्रॉलर कैटेगरी, सर्वर लोड और सर्च विजिबिलिटी पर नज़र रखें।
लक्ष्य हर बॉट को ब्लॉक करना नहीं है। लक्ष्य यह नियंत्रित करना है कि वे क्या करते हैं।