Cloudflare ستحظر زواحف وكلاء الذكاء الاصطناعي افتراضيًا في شهر سبتمبر هذا

إن عصر كشط البيانات (web scraping) غير المقيد بواسطة الذكاء الاصطناعي يقترب من نهايته. فبدءًا من 15 سبتمبر، ستنفذ Cloudflare تحولًا جذريًا في السياسات من خلال حظر زواحف وكلاء الذكاء الاصطناعي (AI agent crawlers) افتراضيًا، مما يفرض حقبة جديدة من الوصول إلى البيانات القائم على الأذونات.

التحول من الكشط السلبي إلى الإذن النشط

لسنوات عديدة، عملت نماذج الذكاء الاصطناعي والوكلاء المستقلون من خلال التجول في الويب المفتوح، وكشط البيانات لتقديم إجابات فورية للمستخدمين. ومع ذلك، يمثل إعلان Cloudflare الأخير تحولًا كبيرًا في كيفية تعامل البنية التحتية للويب مع هذه البوتات "الوكيلة" (agentic bots). فخلافًا لزواحف محركات البحث التقليدية التي تقوم بفهرسة الصفحات لاسترجاعها، تقوم زواحف وكلاء الذكاء الاصطناعي بجلب المحتوى في الوقت الفعلي لتنفيذ مهام محددة أو الإجابة على استفسارات معقدة نيابة عن المستخدم.

بدءًا من 15 سبتمبر فصاعدًا، سيقوم جزء كبير من الويب المحمي بواسطة Cloudflare بتقييد هؤلاء الوكلاء تلقائيًا. تهدف هذه الخطوة إلى منح أصحاب المواقع والناشرين تحكمًا أكبر في كيفية استيعاب بياناتهم المملوكة ومحتواهم الإبداعي بواسطة النماذج اللغوية الكبيرة (LLMs) والوكلاء المستقلين. وبدلاً من أن يكون الويب "متاحًا للجميع دون قيود"، فإنه ينتقل نحو نموذج محكوم حيث يجب على البوتات طلب الإذن صراحةً للوصول.

كيف يمكن للمطورين وأصحاب المواقع منح حق الوصول

على الرغم من أن الإعداد الافتراضي تقييدي، إلا أن Cloudflare لا تهدف إلى تعطيل وظائف أدوات الذكاء الاصطناعي المفيدة. بدلاً من ذلك، الهدف هو إنشاء "مصافحة" (handshake) منظمة بين الزاحف والمضيف. بالنسبة للمطورين ومديري المواقع، يعني هذا الابتعاد عن عقلية "كشط كل شيء" والتوجه نحو نهج مدار.

لضمان قدرة وكلاء الذكاء الاصطناعي الشرعيين وذوي القيمة العالية على الوصول إلى أجزاء محددة من الموقع الإلكتروني، سيحتاج المالكون إلى تنفيذ أذونات محددة. يتيح ذلك للشركات اختيار وكلاء الذكاء الاصطناعي — مثل تلك التي تعمل بواسطة OpenAI أو Anthropic أو Google — الذين يمكنهم قراءة محتواهم، وربما وفق شروط معينة. وبالنسبة لمشهد الذكاء الاصطناعي الأوسع، يتطلب هذا طريقة أكثر تطورًا لمطوري الوكلاء لتعريف أنفسهم وإثبات شرعيتهم لخوادم الويب.

لماذا يهم هذا منظومة الذكاء الاصطناعي

يمثل هذا التطور نقطة تحول حاسمة لكل من منشئي المحتوى وشركات الذكاء الاصطناعي. بالنسبة للناشرين، فإنه يوفر آلية دفاع ضرورية للغاية ضد "إرهاق كشط البيانات"، حيث يُستخدم المحتوى لتدريب نماذج قد تنافس في النهاية المنشئين الأصليين. ومن خلال استعادة السيطرة، يمكن للناشرين حماية ملكيتهم الفكرية واستكشاف نماذج تحقيق ربح جديدة للوصول إلى الذكاء الاصطناعي.

بالنسبة لمطوري الذكاء الاصطناعي والمؤسسين الذين يبنون سير عمل الوكلاء (agentic workflows)، يضيف هذا التغيير طبقة جديدة من التعقيد. لم يعد بإمكان الوكلاء الاعتماد على افتراض أن جميع صفحات HTML المتاحة للجمهور يمكن الوصول إليها. سيتطلب تأمين مستقبل وكلاء الذكاء الاصطناعي أن يكونوا "مدركين للامتثال" (compliance-aware)، وقادرين على التنقل عبر طبقات الأذونات واحترام البروتوكولات الجديدة التي وضعتها شركات البنية التحتية الكبرى مثل Cloudflare.

النقاط الرئيسية

  • الحظر الافتراضي: بدءًا من 15 سبتمبر، ستقوم Cloudflare تلقائيًا بحظر زواحف وكلاء الذكاء الاصطناعي في المواقع المحمية ما لم يتم منح إذن صريح.
  • التحكم للناشرين: تعيد هذه الخطوة القوة إلى أصحاب المواقع الإلكترونية، مما يسمح لهم بتحديد كيانات الذكاء الاصطناعي المحددة التي يمكنها استيعاب بياناتهم في الوقت الفعلي.
  • معيار جديد للوكلاء: يجب على مطوري الذكاء الاصطناعي تكييف وكلاءهم ليكونوا أكثر احترامًا لأذونات الويب، والتحرك نحو نموذج زحف منظم قائم على الأذونات.