ضوابط Cloudflare الجديدة لزواحف الذكاء الاصطناعي
حركة مرور المواقع الإلكترونية تتغير.
في الماضي، كانت محركات البحث تزحف إلى موقعك لمساعدة الأشخاص في العثور عليك. لقد كانت عملية بسيطة، لكن الذكاء الاصطناعي جعل الأمر أكثر تعقيداً بكثير.
قد يقوم "بوت" (bot) بالزحف إلى صفحتك لعرضها في نتائج البحث، وهذا يختلف عن قيام "بوت" بالزحف إلى صفحتك لتدريب نموذج ذكاء اصطناعي.
تقوم Cloudflare بتغيير طريقة إدارتك لهذا الأمر. في 1 يوليو 2026، سيحصل جميع العملاء على ضوابط جديدة لحركة مرور الذكاء الاصطناعي. يتيح لك ذلك تقسيم حركة المرور إلى ثلاث مجموعات:
- البحث (Search): البوتات التي تفهرس المحتوى لمحركات البحث أو لإجابات الذكاء الاصطناعي.
- الوكيل (Agent): البوتات التي تعمل نيابة عن مستخدم لإكمال مهمة ما.
- التدريب (Training): البوتات التي تجمع البيانات لتدريب نماذج الذكاء الاصطناعي أو ضبطها بدقة.
هذا التحول يحول "الظهور" إلى قرار يتعلق بسياسة الوصول، ولم يعد الأمر مجرد قرار متعلق بـ SEO.
إذا كنت تدير شركة SaaS، فإن صفحاتك العامة مثل التوثيق (documentation)، والأسعار، ومراكز المساعدة تخلق قيمة؛ فهي تساعدك في جذب العملاء ودعمهم.
يجب عليك أن تقرر مقدار الوصول الذي تريد منحه.
كان السؤال القديم هو: هل يمكن لمحركات البحث العثور علينا؟ أما السؤال الجديد فهو: ما هي الأنظمة المؤتمتة التي يجب أن تستخدم موقعنا، ولأي غرض؟
لا تعامل جميع بوتات الذكاء الاصطناعي على أنها متشابهة.
تساعد بوتات البحث المستخدمين في العثور على منتجك. وقد يؤدي حظرها إلى جعل موقعك غير مرئي في نتائج البحث المدعومة بالذكاء الاصطناعي.
يمكن لوكلاء الذكاء الاصطناعي (AI agents) أن يكونوا مفيدين؛ فقد يزور الوكيل صفحة الأسعار الخاصة بك لمساعدة مستخدم في مقارنة الخطط. ومع ذلك، يجب عليك تحديد ما إذا كانت هذه الوكلاء تحتاج إلى مصادقة (authentication) أو حدود لمعدل الطلبات (rate limits).
توفر بوتات التدريب قيمة مباشرة أقل؛ فهي تستخدم محتواك لبناء النماذج ولكنها قد لا تعيد المستخدمين إلى موقعك. تختار العديد من الشركات حظر هذه البوتات.
تبدو السياسة الذكية كما يلي:
- السماح لبوتات البحث بفهرسة صفحات منتجك وصفحات المساعدة.
- السماح للوكلاء الموجهين من قبل المستخدمين بالوصول إلى التوثيق العام.
- حظر وصول بوتات التدريب أو ترخيصه.
- الحفاظ على حماية جميع مناطق المنتج التي تتطلب مصادقة.
راجع حركة المرور الخاصة بك بانتظام. انظر إلى فئات الزواحف، وحمل الخادم، والظهور في نتائج البحث.
الهدف ليس حظر كل بوت، بل الهدف هو التحكم فيما يفعلونه.