בקרות ה-AI Crawler החדשות של Cloudflare
תעבורת האתרים משתנה.
בעבר, מנועי חיפוש סרקו (crawled) את האתר שלכם כדי לעזור לאנשים למצוא אתכם. זה היה עניין פשוט. הבינה המלאכותית (AI) הפכה את זה להרבה יותר מורכב.
בוט עשוי לסרוק את הדף שלכם כדי להציג אותו בתוצאת חיפוש. זה שונה מבוט שסורק את הדף שלכם כדי לאמן מודל AI.
Cloudflare משנה את הדרך שבה אתם מנהלים זאת. ב-1 ביולי 2026, כל הלקוחות יקבלו בקרות תעבורת AI חדשות. זה מאפשר לכם להפריד את התעבורה לשלוש קבוצות:
- Search: בוטים שמאינדקסים תוכן עבור מנועי חיפוש או תשובות AI.
- Agent: בוטים הפועלים בשם משתמש כדי להשלים משימה.
- Training: בוטים האוספים נתונים כדי לאמן או לבצע כוונון עדין (fine-tune) למודלי AI.
המעבר הזה הופך את הנראות להחלטה של מדיניות גישה. זה כבר לא רק החלטת SEO.
אם אתם מנהלים חברת SaaS, הדפים הציבוריים שלכם כמו תיעוד (documentation), תמחור ומרכזי עזרה יוצרים ערך. הם עוזרים לכם לגייס ולתמוך בלקוחות.
עליכם להחליט כמה גישה תרצו לתת.
השאלה הישנה הייתה: האם מנועי חיפוש יכולים למצוא אותנו? השאלה החדשה היא: אילו מערכות אוטומטיות צריכות להשתמש באתר שלנו, ולשם מה?
אל תתייחסו לכל בוטים ה-AI באותה צורה.
בוטים של Search עוזרים למשתמשים למצוא את המוצר שלכם. חסימתם עלולה להפוך אתכם לבלתי נראים בתוצאות חיפוש מבוססות AI.
סוכני AI (AI agents) יכולים להיות מועילים. סוכן עשוי לבקר בדף התמחור שלכם כדי לעזור למשתמש להשוות בין תוכניות. עם זאת, עליכם להחליט אם הסוכנים הללו זקוקים לאימות (authentication) או למגבלות קצב (rate limits).
בוטים של Training מציעים ערך ישיר פחות. הם משתמשים בתוכן שלכם כדי לבנות מודלים, אך עשויים שלא להחזיר משתמשים לאתר שלכם. חברות רבות בוחרות לחסום אותם.
מדיניות חכמה נראית כך:
- אפשרו לבוטי Search לאנדקס את דפי המוצר והעזרה שלכם.
- אפשרו לסוכנים המונחים על ידי משתמשים לגשת לתיעוד ציבורי.
- חסמו או תנו רישיון לגישה עבור בוטים של Training.
- שמרו על כל אזורי המוצר המאומתים מוגנים.
בדקו את התעבורה שלכם באופן קבוע. עקבו אחר קטגוריות ה-crawler, עומס השרת והנראות בחיפוש.
המטרה היא לא לחסום כל בוט. המטרה היא לשלוט במה שהם עושים.