Cloudflare קובעת דדליין כדי לאלץ חברות AI לשלם למוציאים לאור

Cloudflare הכריזה על שינוי מדיניות משמעותי שנועד להפריד בין סריקת חיפוש מסורתית לבין אימון מודלי AI ושירותי סוכנים (agentic services). באמצעות הטמעת הגדרות ברירת מחדל מחמירות חדשות, ענקית מחשוב הקצה (edge computing) שואפת להגן על קניין רוחני וליצור אקוסיסטם כלכלי בר-קיימא עבור מוציאים לאור באינטרנט.

סופה של ה-"Mixed-Use Crawlers"

בצעד המאתגר ישירות את הסטטוס-קוו הנוכחי של גירוד נתונים (data-scraping), Cloudflare קבעה דדליין ל-15 בספטמבר 2026 כדי להתמודד עם עלייתם של סורקים מסוג "mixed-use". אלו הם בוטים המשלבים אינדוקס חיפוש מסורתי עם אימון מודלי AI ופונקציות סוכנותיות (agentic functions). החל מתאריך זה, הגדרות ברירת המחדל של Cloudflare יחסמו באופן אוטומטי סורקים היברידיים אלו מגישה לדפים המארחים פרסומות.

שינוי מדיניות זה חל על כל לקוחות Cloudflare החדשים, אתרים חדשים שנוצרו על ידי לקוחות קיימים, ועל כל המשתמשים הנוכחיים במסלול החינמי. המטרה היא לאלץ חברות AI להבחין בין הכוונות שלהן: אם בוט רוצה לאנדקס אתר לצורך חיפוש, הוא פועל במסלול אחד; אם הוא רוצה להזין נתונים לצורך אימון מודל שפה גדול (LLM), עליו לפעול במסלול אחר – כזה שעשוי לדרוש פיצוי.

אתגור הדומיננטיות של ענקית החיפוש

מניע משמעותי מאחורי החלטה זו הוא היתרון הבלתי הוגן הנתפס שיש למנועי חיפוש גדולים. Cloudflare הדגישה במיוחד שמנוע החיפוש הגדול בעולם – המקובל כגוגל (Google) – נהנה כיום מגישה לכמות מידע הגדולה בערך פי 2 מזה של מתחביבי ה-AI שלו.

בעוד שגוגל מציעה את "Google Extended" כדי לאפשר למוציאים לאור לבחור שלא להשתתף באימון AI מבלי לפגוע בנראות בחיפוש, ה-Googlebot המרכזי שלה ממשיך לסרוק באופן נרחב כדי להפעיל תכונות כמו AI Overviews. ההתערבות של Cloudflare שואפת ליצור תנאי שוויון, ולהבטיח שחברות AI לא יוכלו "לרכוב" על יכולות האינדוקס העצומות של מנועי החיפוש כדי לאמן את המודלים שלהן בחינם.

תנועה לעבר מודלים של "Pay Per Use"

מעבר לחסימה בלבד, Cloudflare בונה באופן פעיל את התשתית לכלכלת תוכן חדשה. החברה מפתחת את שוק ה-"Pay Per Crawl" שלה למודל מתוחכם יותר של "Pay Per Use". תחת מסגרת זו, מוציאים לאור יכולים לגבות מחברות AI לא רק על פעולת שליפת הנתונים, אלא גם כאשר התוכן יוצר ערך בפועל.

כדי להוביל פיילוט לכך, Cloudflare משתפת פעולה עם Ceramic.ai ו-You.com. באמצעות שותפויות אלו, מוציאים לאור יכולים לקבל פיצוי ישיר כאשר התוכן שלהם מופיע בתוצאות החיפוש של Ceramic מבוסס ה-AI, או כאשר You.com ניגש לחומר פרימיום. שינוי זה נותן מענה לחוסר יעילות קריטי באינטרנט הנוכחי: נתונים של Cloudflare מגלים כי למעלה מ-50% מתעבורת סורקי ה-AI מבוזבזת על שליפה חוזרת של דפים שלא השתנו, תהליך שגוזל הן את רוחב הפס של המוציאים לאור והן את משאבי המחשוב של ה-AI.

למה זה חשוב לנוף ה-AI

ככל שתעבורת הבוטים (non-human traffic) עוקפת כעת את תעבורת בני האדם באינטרנט, עידן ה-"scrape everything for free" (גירוד הכל בחינם) מגיע לקצה דרכו. הצעד של Cloudflare מסמן מעבר לאינטרנט מפוקח ועסקי יותר. עבור מפתחי AI, המשמעות היא שעידן רכישת הנתונים ללא חיכוך ובאפס עלות מסתיים, מה שמחייב קשרים שקופים ושיתופיים יותר עם יוצרי תוכן כדי להבטיח את קיימות הנתונים לטווח ארוך.

נקודות מרכזיות

• חסימה כברירת מחדל: החל מה-15 בספטמבר 2026, Cloudflare תחסום כברירת מחדל סורקי "mixed-use" מדפים המבוססים על פרסום.
• שינוי במודל המונטיזציה: Cloudflare עוברת ממודל "Pay Per Crawl" למודל "Pay Per Use", מה שמאפשר למוציאים לאור לגבות מחברות AI תשלום המבוסס על ערך התוכן.
• שיפור ביעילות: המדיניות החדשה שואפת לצמצם את ה-50% מתעבורת סריקת ה-AI המבוזבזת כיום על שליפה חוזרת של דפי אינטרנט שלא השתנו.