מודל הרישוי של סורקי ה-AI של Cloudflare הושק ב-1 ביולי, תוך החלפת תוכנית ה-"pay-per-crawl" הישנה שלו במערכת "pay-per-use" המטילה חיוב בכל פעם ששירות בינה מלאכותית קורא דף. המעבר עושה יותר מאשר רק שינוי תמחור – הוא מעניק לחברה פרטית אחת את הכוח להחליט מי רשאי לגשת לרשת הציבורית ובתנאים אילו.

למה השינוי הזה חשוב

במשך שנים, המסלול החינמי של Cloudflare סיפק למיליוני אתרים דרך זולה לשפר את הביצועים ולהדוף תעבורה לא רצויה. כאשר בוט משך דף, המפעיל שילם תעריף קבוע עבור כל סריקה. המודל החדש הופך את מערכת היחסים הזו: המוציאים לאור מקבלים תשלום בכל פעם שמודל AI צורך את התוכן שלהם. על פני השטח, זה נשמע כמו רווח לבעלי האתרים, שסוף סוף מקבלים חלק מ"עוגת ה-AI" שגדלה על גב עבודתם.

המודל גם מציג שלוש קטגוריות חדשות עבור סורקי AI – Search, Agent, ו-Training – ומעניק את הסמכות לסווג בוט לאחת מהקטגוריות הללו ישירות למפרטי המוצר של Cloudflare. החברה מחליטה האם בוט מחקר הוא "Agent" לגיטימי או בוט "Training", האם כלי של צוות קטן הוא שירות "Search" או "גנב ללא רישיון". סיווגים אלו קובעים את התעריפים שיחולו, ומה-15 בספטמבר, האם הבוט ייחסם לחלוטין בדפים המציגים פרסומות.

מנגנוני השליטה

  • שלושה סלים, שומר סף אחד – Cloudflare לבדה מגדירה את שלוש הקבוצות. ללא גוף תקנים חיצוני, ללא קונסורציום תעשייתי, ללא התייעצות ציבורית. בוט שנכנס לסל ה-"Training" יתמודד עם עמלות גבוהות יותר מאשר בוט המסווג כ-"Search", גם אם הפעילות הבסיסית כמעט זהה.
  • חסימה כברירת מחדל בדפים מבוססי פרסום – מאמצע ספטמבר, לכל סורק בעל שימוש מעורב (mixed-use) שיגיע לדף עם פרסומות תימנע גישה, אלא אם הוא עומד בקריטריונים של Cloudflare. החסימה היא אוטומטית; הדרך היחידה לעקוף אותה היא לשלם את התעריף שקובעת Cloudflare עבור אותו סל.
  • שוק עם רשימת המתנה – הגישה לאינטרנט ה"בעל רישיון" אינה תלויה עוד רק ביכולת טכנית. חברות שרוצות לבצע סריקה בקנה מידה רחב חייבות להגיש בקשה להיכלל ברשימה המאושרת של Cloudflare. אלו שיישארו בחוץ עומדים בפני שתי אפשרויות נוקשות: לקבל את המחיר שקובעת Cloudflare או לאבד את היכולת לבצע scraping לחלק גדול מהאינטרנט.
  • הכנסה ללא זכות הצבעה – לבעלי אתרים המקבלים תשלומים אין זכות קביעה באופן שבו הקטגוריות נקבעות, כיצד התעריפים מתפתחים, או מי נכנס לרשימה הלבנה. מבנה התמחור וההגדרה עצמה של סריקה "מקובלת" נמצאים מאחורי מפרט מוצר תאגידי, ולא בתהליך של מדיניות ציבורית.

מי מרוויח, מי מפסיד

מוציאים לאור – התועלת המיידית היא זרם הכנסה חדש. בכל פעם שמודל AI קורא מאמר, בעל האתר מקבל צ'ק. עבור מוציאים לאור קטנים יותר שהתקשו להפיק רווחים מתעבורה, תזרים מזומנים זה יכול להיות משמעותי.

מפתחי AI וחוקרים – אלו שיכולים להרשות לעצמם את התעריפים של Cloudflare ולהבטיח לעצמם מקום ברשימה הלבנה ימשיכו לאמן ולהריץ מודלים בקנה מידה רחב.

סטארט-אפים, פרויקטים של קוד פתוח וחוקרים עצמאיים – ללא מקום ברשימה הלבנה, הם חייבים או לשלם כל תעריף שתקבע Cloudflare, או לאבד גישה לחלק גדול מהרשת.

המערכת האקולוגית הרחבה יותר של האינטרנט – על ידי הפיכת הגישה לרשת הציבורית לשירות בעל רישיון, Cloudflare מרכזת סוג של "שמירת סף דיגיטלית" (digital gatekeeping) שבדרך כלל הייתה שייכת לסביבה רגולטורית רופפת ורב-משתתפים.

המחיר הנסתר של המחסור

חסימת בוטים הוצגה זמן רב כצעד הגנתי נגד ספאם, scraping ושימוש לרעה ברוחב פס. במודל החדש של Cloudflare, החסימה היא הדגמה של כוח מיקוח; המוצר האמיתי הוא המונה שמודד כל צפייה בדף ומצמיד לה תג מחיר. החברה יכולה להפעיל את המתג שיוצר מחסור עבור כולם בבת אחת, מכיוון שהיא גם מנהלת את השוק שמוכר את הגישה.

המסלול החינמי שמשך את רוב תעבורת הרשת של ימינו מעולם לא היה צדקה. הוא היה נקודת כניסה אסטרטגית שהעניקה ל-Cloudflare דומיננטיות בשוק, שאפשרה לה לאחר מכן להפיק רווחים מהדומיננטיות הזו באמצעות מודל הרישוי. כעת, אותה תשתית שבעבר הפכה את טעינת הדפים המהירה לדמוקרטית, היא גם זו שמחליטה מי רשאי לקרוא את הדפים הללו.

נקודת מבט נגדית: לשלם על תוכן שמזין AI

הטיעון בעד המערכת החדשה הוא פשוט: מפתחי AI מפיקים רווחים מטקסטים, תמונות וקוד הזמינים לציבור מבלי לפצות את היוצרים. המודל של Cloudflare כופה לולאת תשלום שעשויה לתמרץ תוכן באיכות גבוהה יותר ולהעניק למוציאים לאור עניין בכלכלת ה-AI. הוא גם מספק דרך ברורה וניתנת לאכיפה להבחין בין בוטים של חיפוש תמים לבין פעולות מסיביות של איסוף נתונים (data-harvesting), מה שעשוי לרסן את ההתעללות.

יתרונות אלו, עם זאת, אינם מוחקים את העובדה שהכללים נקבעים באופן חד-צדדי. גם אם חלוקת ההכנסות נדיבה, היעדר תהליך דמוקרטי פירושו שלציבור אין לאן לפנות אם הקטגוריות יתבררו כשרירותיות או אם התעריפים יהפכו למנצלים. המודל מחליף סט אחד של החלטות עמומות (היוריסטיקות לחסימת פרסומות) בסט אחר, בעל השלכות כלכליות משמעותיות יותר.

מה כדאי לעקוב אחריו בהמשך

שורה תחתונה

רפורמת התמחור של Cloudflare ב-1 ביולי הופכת את פעולת קריאת דף אינטרנט לעסקה הכפופה לרישיון, כאשר חברה פרטית אחת כותבת את הכללים ואוספת את העמלות. בעוד שמוציאים לאור רואים סוף סוף כסף מצריכה מבוססת AI, ההשלכה הרחבה יותר היא צורה חדשה של gatekeeping דיגיטלי המעצבת מחדש את השאלה מי יכול לגשת לאינטרנט הציבורי ובתנאים אילו. הסיפור האמיתי אינו תג המחיר; אלא ריכוז השליטה במרחב שבתפיסה ארוכת שנים נחשב לפתוח.