Cloudflare’s New AI Crawler Controls

Трафік вебсайтів змінюється.

Раніше пошукові системи сканували ваш сайт, щоб допомогти людям знайти вас. Це була проста угода. Штучний інтелект зробив цей процес набагато складнішим.

Бот може сканувати вашу сторінку, щоб показати її в результатах пошуку. Це відрізняється від бота, який сканує вашу сторінку для навчання моделі ШІ.

Cloudflare змінює підхід до керування цим процесом. 1 липня 2026 року всі клієнти отримають нові інструменти керування AI-трафіком. Це дозволить розділити трафік на три групи:

  • Search: Боти, які індексують контент для пошукових систем або відповідей ШІ.
  • Agent: Боти, які діють від імені користувача для виконання завдання.
  • Training: Боти, що збирають дані для навчання або донавчання моделей ШІ.

Цей зсув перетворює видимість на питання політики доступу. Тепер це вже не просто рішення у сфері SEO.

Якщо ви керуєте SaaS-компанією, ваші публічні сторінки, такі як документація, ціни та центри допомоги, створюють цінність. Вони допомагають вам залучати та обслуговувати клієнтів.

Ви повинні вирішити, який обсяг доступу ви готові надати.

Старе питання було: «Чи зможуть пошукові системи знайти нас?» Нове питання: «Які автоматизовані системи мають використовувати наш сайт і з якою метою?»

Не ставтеся до всіх AI-ботів однаково.

  1. Пошукові боти допомагають користувачам знаходити ваш продукт. Їх блокування може зробити вас невидимими в результатах пошуку на базі ШІ.

  2. AI-агенти можуть бути корисними. Агент може відвідати вашу сторінку з цінами, щоб допомогти користувачеві порівняти плани. Однак ви повинні вирішити, чи потрібна цим агентам автентифікація або обмеження частоти запитів (rate limits).

  3. Боти для навчання приносять менше прямої вигоди. Вони використовують ваш контент для створення моделей, але можуть не повертати користувачів на ваш сайт. Багато компаній вирішують блокувати їх.

Розумна політика виглядає так:

  • Дозволити пошуковим ботам індексувати ваші сторінки продуктів та допомоги.
  • Дозволити агентам, керованим користувачами, отримувати доступ до публічної документації.
  • Блокувати або надавати ліцензійний доступ ботам для навчання.
  • Залишати всі автентифіковані зони продукту захищеними.

Регулярно переглядайте свій трафік. Звертайте увагу на категорії краулерів, навантаження на сервер та видимість у пошуку.

Мета не в тому, щоб блокувати кожного бота. Мета — контролювати їхні дії.

Source: https://dev.to/ascentinnovate/cloudflares-new-ai-crawler-controls-turn-visibility-into-an-access-policy-decision-2118