کنترلهای جدید Cloudflare برای خزنده (Crawler)های هوش مصنوعی
ترافیک وب در حال تغییر است.
در گذشته، موتورهای جستجو سایت شما را میخزیدند تا به مردم در پیدا کردن شما کمک کنند. این یک معامله ساده بود. هوش مصنوعی این موضوع را بسیار پیچیدهتر کرده است.
یک ربات ممکن است صفحه شما را برای نمایش در نتایج جستجو بخزد. این با رباتی که صفحه شما را برای آموزش یک مدل هوش مصنوعی میخزد، متفاوت است.
Cloudflare در حال تغییر نحوه مدیریت این موضوع است. در اول جولای ۲۰۲۶، تمام مشتریان کنترلهای جدید ترافیک هوش مصنوعی را دریافت خواهند کرد. این قابلیت به شما اجازه میدهد ترافیک را به سه گروه تقسیم کنید:
- جستجو (Search): رباتهایی که محتوا را برای موتورهای جستجو یا پاسخهای هوش مصنوعی ایندکس میکنند.
- عامل (Agent): رباتهایی که به نمایندگی از یک کاربر برای انجام یک وظیفه عمل میکنند.
- آموزش (Training): رباتهایی که دادهها را برای آموزش یا تنظیم دقیق (fine-tune) مدلهای هوش مصنوعی جمعآوری میکنند.
این تغییر، «قابلیت دیده شدن» را به یک «تصمیمگیری در مورد سیاست دسترسی» تبدیل میکند. این دیگر صرفاً یک تصمیم مربوط به SEO نیست.
اگر یک شرکت SaaS را اداره میکنید، صفحات عمومی شما مانند مستندات، قیمتگذاری و مراکز راهنما ارزشآفرین هستند. آنها به شما در جذب و پشتیبانی از مشتریان کمک میکنند.
شما باید تصمیم بگیرید که چه میزان دسترسی میخواهید بدهید.
سوال قدیمی این بود: آیا موتورهای جستجو میتوانند ما را پیدا کنند؟ سوال جدید این است: کدام سیستمهای خودکار باید از سایت ما استفاده کنند و با چه هدفی؟
با همه رباتهای هوش مصنوعی به یک شکل برخورد نکنید.
۱. رباتهای جستجو به کاربران کمک میکنند محصول شما را پیدا کنند. مسدود کردن آنها ممکن است باعث شود در نتایج جستجوی مبتنی بر هوش مصنوعی نامرئی شوید.
۲. عاملهای هوش مصنوعی (AI agents) میتوانند مفید باشند. یک عامل ممکن است برای کمک به کاربر در مقایسه طرحها، از صفحه قیمتگذاری شما بازدید کند. با این حال، باید تصمیم بگیرید که آیا این عاملها به احراز هویت یا محدودیت نرخ (rate limits) نیاز دارند یا خیر.
۳. رباتهای آموزشی ارزش مستقیم کمتری دارند. آنها از محتوای شما برای ساخت مدلها استفاده میکنند اما ممکن است کاربران را به سایت شما بازنگردانند. بسیاری از شرکتها مسدود کردن این رباتها را انتخاب میکنند.
یک سیاست هوشمندانه به این صورت است:
- اجازه دهید رباتهای جستجو صفحات محصول و صفحات راهنمای شما را ایندکس کنند.
- به عاملهای هدایتشده توسط کاربر اجازه دسترسی به مستندات عمومی را بدهید.
- دسترسی رباتهای آموزشی را مسدود کنید یا از طریق لایسنس مدیریت کنید.
- تمام بخشهای احراز هویتشده محصول را محافظتشده نگه دارید.
ترافیک خود را به طور منظم بررسی کنید. به دستهبندی خزندهها، بار سرور و قابلیت دیده شدن در جستجو توجه کنید.
هدف مسدود کردن هر رباتی نیست. هدف کنترل کاری است که آنها انجام میدهند.