مدل لایسنسینگ خزنده هوش مصنوعی Cloudflare در اول جولای راه‌اندازی شد و طرح قدیمی «پرداخت به ازای هر بار خزیدن» (pay-per-crawl) را با سیستم «پرداخت به ازای استفاده» (pay-per-use) جایگزین کرد که هر بار یک سرویس هوش مصنوعی صفحه‌ای را می‌خواند، هزینه دریافت می‌کند. این تغییر فراتر از اصلاح یک برچسب قیمت است؛ این کار به یک شرکت خصوصی واحد این قدرت را می‌دهد که تصمیم بگیرد چه کسی و با چه شرایطی می‌تواند به وب عمومی دسترسی داشته باشد.

چرا این تغییر اهمیت دارد

سال‌ها بود که سطح رایگان Cloudflare راهی ارزان برای میلیون‌ها سایت جهت بهبود عملکرد و دفع ترافیک ناخواسته فراهم می‌کرد. وقتی یک ربات صفحه‌ای را فراخوانی می‌کرد، اپراتور مبلغ ثابتی را به ازای هر بار خزیدن پرداخت می‌کرد. مدل جدید این رابطه را معکوس می‌کند: ناشران هر بار که یک مدل هوش مصنوعی محتوای آن‌ها را مصرف می‌کند، مبلغی دریافت می‌کنند. در ظاهر، این یک پیروزی برای صاحبان سایت‌ها به نظر می‌رسد که بالاخره سهمی از کیک هوش مصنوعی که بر پایه کار آن‌ها در حال رشد است، به دست می‌آورند.

این مدل همچنین سه دسته جدید برای خزنده‌های هوش مصنوعی معرفی می‌کند – Search، Agent و Training – و اختیار برچسب‌گذاری یک ربات در هر یک از این دسته‌ها را مستقیماً در مشخصات محصول Cloudflare قرار می‌دهد. شرکت تصمیم می‌گیرد که آیا یک ربات تحقیقاتی یک «Agent» مشروع است یا یک ربات «Training»، و آیا ابزار یک تیم کوچک یک سرویس «Search» است یا یک «دزد بدون لایسنس». این طبقه‌بندی‌ها نرخ‌های اعمال‌شده و از ۱۵ سپتامبر، تعیین می‌کنند که آیا ربات در صفحاتی که تبلیغات نمایش می‌دهند، به‌طور کامل مسدود شود یا خیر.

مکانیسم‌های کنترل

  • سه دسته، یک دروازه‌بان – Cloudflare به تنهایی این سه گروه را تعریف می‌کند. هیچ نهاد استاندارد خارجی، هیچ کنسرسیوم صنعتی و هیچ مشاوره عمومی وجود ندارد. رباتی که در دسته «Training» قرار می‌گیرد با هزینه‌های بیشتری نسبت به رباتی که «Search» برچسب خورده روبرو می‌شود، حتی اگر فعالیت زیربنایی آن‌ها تقریباً یکسان باشد.
  • مسدودسازی پیش‌فرض در صفحات تبلیغاتی – از اواسط سپتامبر، هر خزنده با استفاده ترکیبی که وارد صفحه‌ای دارای تبلیغات شود، از دسترسی محروم خواهد شد، مگر اینکه معیارهای Cloudflare را داشته باشد. این مسدودسازی خودکار است؛ تنها راه دور زدن آن، پرداخت نرخی است که Cloudflare برای آن دسته تعیین کرده است.
  • بازاری با لیست انتظار – دسترسی به وبِ «دارای لایسنس» دیگر تنها به توانایی فنی بستگی ندارد. شرکت‌هایی که می‌خواهند در مقیاس بالا خزیدن انجام دهند، باید برای قرار گرفتن در لیست تأییدشده Cloudflare درخواست دهند. کسانی که از این لیست جا می‌مانند با دو انتخاب دشوار روبرو هستند: پذیرش قیمتی که Cloudflare دیکته می‌کند یا از دست دادن توانایی استخراج داده (scraping) از بخش بزرگی از اینترنت.
  • درآمد بدون حق رأی – صاحبان سایت‌هایی که مبالغی دریافت می‌کنند، هیچ نظری در مورد نحوه تعیین دسته‌ها، نحوه تغییر نرخ‌ها یا اینکه چه کسی وارد لیست سفید می‌شود، ندارند. ساختار قیمت‌گذاری و تعریف دقیقِ خزیدنِ «قابل قبول»، پشت یک مشخصات محصول شرکتی قرار دارد، نه یک فرآیند سیاست‌گذاری عمومی.

چه کسی برنده و چه کسی بازنده است

ناشران – مزیت فوری، یک جریان درآمدی جدید است. هر بار که یک مدل هوش مصنوعی مقاله‌ای را می‌خواند، صاحب سایت مبلغی دریافت می‌کند. برای ناشران کوچک‌تر که برای درآمدزایی از ترافیک خود با مشکل مواجه بوده‌اند، این جریان نقدی می‌تواند معنادار باشد.

توسعه‌دهندگان و محققان هوش مصنوعی – کسانی که از پس هزینه‌های Cloudflare برمی‌آیند و جایگاهی در لیست سفید به دست می‌آورند، به آموزش و اجرای مدل‌ها در مقیاس بالا ادامه خواهند داد.

استارتاپ‌ها، پروژه‌های متن‌باز و محققان مستقل – بدون داشتن جایگاهی در لیست سفید، آن‌ها یا باید هر نرخی را که Cloudflare تعیین می‌کند بپردازند یا دسترسی به بخش بزرگی از وب را از دست بدهند.

اکوسیستم گسترده‌تر اینترنت – Cloudflare با تبدیل دسترسی به وب عمومی به یک سرویس قابل لایسنس، نوعی «دروازه‌بانی دیجیتال» را متمرکز می‌کند که به‌طور سنتی متعلق به یک محیط با نظارت ضعیف و چندجانبه بود.

هزینه پنهان کمیابی

مسدود کردن ربات‌ها مدت‌هاست که به عنوان یک اقدام دفاعی در برابر اسپم، استخراج داده (scraping) و سوءاستفاده از پهنای باند معرفی شده است. در مدل جدید Cloudflare، مسدودسازی نمایشگرِ قدرت است؛ محصول واقعی، آن شمارنده‌ای است که هر بازدید از صفحه را اندازه‌گیری کرده و یک برچسب قیمت به آن می‌چسباند. این شرکت می‌تواند کلیدی را بزند که به‌طور همزمان برای همه کمیابی ایجاد می‌کند، زیرا خود آن بازاری را اداره می‌کند که این دسترسی را می‌فروشد.

سطح رایگانی که بیشتر ترافیک وب امروز را جذب کرد، هرگز یک کار خیر نبود. آن یک نقطه ورود استراتژیک بود که به Cloudflare تسلط بر بازار را داد و به آن اجازه داد تا بعداً از طریق مدل لایسنسینگ، از آن تسلط درآمدزایی کند. اکنون همان زیرساختی که زمانی بارگذاری سریع‌تر صفحات را دموکراتیک کرده بود، تصمیم می‌گیرد چه کسی اجازه دارد آن صفحات را بخواند.

دیدگاه مقابل: پرداخت برای محتوایی که سوخت هوش مصنوعی است

استدلال به نفع سیستم جدید ساده است: توسعه‌دهندگان هوش مصنوعی از متن‌ها، تصاویر و کدهای در دسترس عموم سود می‌برند، بدون اینکه به خالقان آن‌ها پاداشی پرداخت کنند. مدل Cloudflare یک چرخه پرداخت را تحمیل می‌کند که می‌تواند مشوقی برای تولید محتوای باکیفیت‌تر باشد و به ناشران سهمی در اقتصاد هوش مصنوعی بدهد. این مدل همچنین روشی شفاف و قابل اجرا برای تمایز میان ربات‌های جستجوی بی‌خطر و عملیات‌های گسترده استخراج داده فراهم می‌کند که پتانسیل مهار سوءاستفاده را دارد.

با این حال، این مزایا این واقعیت را از بین نمی‌برند که قوانین به‌صورت یک‌جانبه تعیین می‌شوند. حتی اگر سهم درآمد سخاوتمندانه باشد، نبود یک فرآیند دموکراتیک به این معناست که اگر دسته‌بندی‌ها خودسرانه باشند یا نرخ‌ها استثمارگرانه شوند، مردم هیچ راه چاره‌ای ندارند. این مدل، مجموعه‌ای از تصمیمات مبهم (الگوریتم‌های مسدودسازی تبلیغات) را با مجموعه‌ای دیگر که پیامدهای مالی سنگین‌تری دارد، معاوضه می‌کند.

آنچه باید در ادامه دنبال کرد

نکته کلیدی

بازنگری در قیمت‌گذاری Cloudflare در اول ژوئیه، عمل خواندن یک صفحه وب را به یک تراکنش دارای مجوز تبدیل می‌کند که در آن یک شرکت خصوصی واحد، قوانین را می‌نویسد و هزینه‌ها را جمع‌آوری می‌کند. در حالی که ناشران بالاخره از مصرف محتوا توسط هوش مصنوعی درآمد کسب می‌کنند، پیامد گسترده‌تر آن، شکل جدیدی از دروازه‌بانی دیجیتال است که تعیین می‌کند چه کسی و با چه شرایطی می‌تواند به اینترنت عمومی دسترسی داشته باشد. داستان اصلی قیمت‌ها نیست؛ بلکه تمرکز کنترل در فضایی است که مدت‌ها تصور می‌شد باز است.