Cloudflares neue KI-Crawler-Steuerungen
Der Website-Traffic verändert sich.
Früher haben Suchmaschinen Ihre Website gecrawlt, um Menschen dabei zu helfen, Sie zu finden. Es war eine einfache Angelegenheit. KI hat dies wesentlich komplexer gemacht.
Ein Bot könnte Ihre Seite crawlen, um sie in einem Suchergebnis anzuzeigen. Das ist etwas anderes, als wenn ein Bot Ihre Seite crawlt, um ein KI-Modell zu trainieren.
Cloudflare ändert die Art und Weise, wie Sie dies verwalten. Am 1. Juli 2026 erhalten alle Kunden neue KI-Traffic-Steuerungen. Dies ermöglicht es Ihnen, den Traffic in drei Gruppen zu unterteilen:
- Search: Bots, die Inhalte für Suchmaschinen oder KI-Antworten indexieren.
- Agent: Bots, die im Namen eines Nutzers handeln, um eine Aufgabe zu erledigen.
- Training: Bots, die Daten sammeln, um KI-Modelle zu trainieren oder feinabzustimmen.
Dieser Wandel macht Sichtbarkeit zu einer Entscheidung über Zugriffsrichtlinien. Es ist nicht mehr nur eine SEO-Entscheidung.
Wenn Sie ein SaaS-Unternehmen führen, schaffen Ihre öffentlichen Seiten wie Dokumentation, Preisgestaltung und Help Center einen Mehrwert. Sie helfen Ihnen dabei, Kunden zu gewinnen und zu unterstützen.
Sie müssen entscheiden, wie viel Zugriff Sie gewähren möchten.
Die alte Frage war: Können Suchmaschinen uns finden? Die neue Frage ist: Welche automatisierten Systeme sollten unsere Website nutzen und zu welchem Zweck?
Behandeln Sie nicht alle KI-Bots gleich.
Search-Bots helfen Nutzern, Ihr Produkt zu finden. Sie zu blockieren, könnte dazu führen, dass Sie in KI-gestützten Suchergebnissen unsichtbar werden.
KI-Agenten können nützlich sein. Ein Agent könnte Ihre Preisseite besuchen, um einem Nutzer beim Vergleich von Tarifen zu helfen. Sie müssen jedoch entscheiden, ob diese Agenten eine Authentifizierung oder Ratenbegrenzungen (Rate Limits) benötigen.
Training-Bots bieten weniger direkten Nutzen. Sie verwenden Ihre Inhalte, um Modelle zu erstellen, leiten Nutzer aber möglicherweise nicht zurück auf Ihre Website. Viele Unternehmen entscheiden sich dafür, diese zu blockieren.
Eine kluge Richtlinie sieht so aus:
- Erlauben Sie Search-Bots, Ihre Produkt- und Hilfeseiten zu indexieren.
- Erlauben Sie nutzergesteuerten Agenten den Zugriff auf öffentliche Dokumentationen.
- Blockieren oder lizenzieren Sie den Zugriff für Training-Bots.
- Halten Sie alle authentifizierten Produktbereiche geschützt.
Überprüfen Sie Ihren Traffic regelmäßig. Achten Sie auf Crawler-Kategorien, die Serverlast und die Sichtbarkeit in der Suche.
Das Ziel ist nicht, jeden Bot zu blockieren. Das Ziel ist es, zu kontrollieren, was sie tun.