کلودفلر ضربالاجلی را برای وادار کردن شرکتهای هوش مصنوعی به پرداخت هزینه به ناشران تعیین کرد
کلودفلر (Cloudflare) از یک تغییر سیاست بنیادین خبر داده است که هدف آن جداسازی خزش (crawling) سنتی موتورهای جستجو از آموزش مدلهای هوش مصنوعی و سرویسهای عاملمحور (agentic services) است. این غول رایانش لبهای (edge computing) با اعمال تنظیمات پیشفرض سختگیرانه جدید، قصد دارد از مالکیت معنوی محافظت کرده و یک اکوسیستم اقتصادی پایدار برای ناشران وب ایجاد کند.
پایان خزهای «چندمنظوره»
کلودفلر در اقدامی که مستقیماً وضعیت موجود در استخراج دادهها (data-scraping) را به چالش میکشد، ضربالاجلی برای ۱۵ سپتامبر ۲۰۲۶ تعیین کرده است تا به پدیده ظهور خزهای «چندمنظوره» رسیدگی کند. اینها رباتهایی هستند که نمایهسازی (indexing) سنتی جستجو را با آموزش مدلهای هوش مصنوعی و عملکردهای عاملمحور ترکیب میکنند. از آن تاریخ، تنظیمات پیشفرض Cloudflare بهطور خودکار دسترسی این خزهای ترکیبی را به هر صفحهای که حاوی تبلیغات باشد، مسدود خواهد کرد.
این تغییر سیاست شامل تمام مشتریان جدید Cloudflare، سایتهای جدیدی که توسط مشتریان فعلی ساخته میشوند و تمامی کاربران فعلی طرح رایگان (free-tier) خواهد بود. هدف این است که شرکتهای هوش مصنوعی را مجبور کنند هدف خود را مشخص کنند: اگر رباتی میخواهد سایتی را برای جستجو نمایهسازی کند، باید یک مسیر را دنبال کند؛ اما اگر میخواهد دادهها را برای آموزش یک مدل زبانی بزرگ (LLM) جذب کند، باید مسیر دیگری را طی کند—مسیر دیگری که احتمالاً مستلزم پرداخت هزینه است.
به چالش کشیدن سلطه غولهای جستجو
یکی از محرکهای اصلی این تصمیم، مزیت ناعادلانهای است که موتورهای جستجوی بزرگ از آن برخوردارند. Cloudflare بهطور مشخص اشاره کرد که بزرگترین موتور جستجوی جهان — که به وضوح گوگل است — در حال حاضر تقریباً «۲ برابر اطلاعات بیشتری» نسبت به رقبای هوش مصنوعی خود در اختیار دارد.
اگرچه گوگل قابلیت "Google Extended" را ارائه میدهد تا به ناشران اجازه دهد بدون تأثیر بر دیده شدن در جستجو، از آموزش هوش مصنوعی انصراف دهند، اما Googlebot اصلی آن همچنان به خزش گسترده برای پشتیبانی از ویژگیهایی مانند AI Overviews ادامه میدهد. مداخله Cloudflare به دنبال ایجاد شرایط برابر است تا اطمینان حاصل شود که شرکتهای هوش مصنوعی نمیتوانند از قابلیتهای عظیم نمایهسازی موتورهای جستجو برای آموزش رایگان مدلهای خود سوءاستفاده کنند.
حرکت به سوی مدلهای «پرداخت به ازای استفاده»
فراتر از مسدودسازی صرف، Cloudflare بهطور فعال در حال ساخت زیرساختهایی برای یک اقتصاد محتوایی جدید است. این شرکت در حال تبدیل بازار «پرداخت به ازای هر خز» (Pay Per Crawl) خود به یک مدل پیچیدهتر یعنی «پرداخت به ازای استفاده» (Pay Per Use) است. تحت این چارچوب، ناشران میتوانند از شرکتهای هوش مصنوعی نه فقط برای عملِ دریافت داده، بلکه زمانی که آن محتوا واقعاً ارزشآفرین است، هزینه دریافت کنند.
برای اجرای آزمایشی این طرح، Cloudflare با Ceramic.ai و You.com همکاری میکند. از طریق این مشارکتها، ناشران میتوانند زمانی که محتوایشان در نتایج جستجوی هوش مصنوعی Ceramic ظاهر میشود یا زمانی که You.com به مطالب ویژه (premium) دسترسی پیدا میکند، پاداش مستقیم دریافت کنند. این تغییر به یک ناکارآمدی بحرانی در وب فعلی میپردازد: دادههای Cloudflare نشان میدهد که بیش از ۵۰ درصد از ترافیک خزهای هوش مصنوعی صرف بازخوانی صفحات تغییرنیافته میشود؛ فرآیندی که هم پهنای باند ناشران و هم منابع محاسباتی هوش مصنوعی را هدر میدهد.
چرا این موضوع برای چشمانداز هوش مصنوعی اهمیت دارد
از آنجایی که ترافیک غیرانسانی اکنون از ترافیک انسانی در اینترنت پیشی گرفته است، دوران «استخراج رایگان همه چیز» به بنبست رسیده است. حرکت Cloudflare نشاندهنده گذار به سمت وب تنظیمشدهتر و مبتنی بر تراکنش است. برای توسعهدهندگان هوش مصنوعی، این بدان معناست که دوران اکتساب دادههای بدون اصطکاک و با هزینه صفر رو به پایان است و نیاز به روابط شفافتر و همکاریمحورتر با تولیدکنندگان محتوا برای تضمین پایداری بلندمدت دادهها احساس میشود.
نکات کلیدی
- مسدودسازی پیشفرض: از ۱۵ سپتامبر ۲۰۲۶، Cloudflare بهطور پیشفرض دسترسی خزهای «چندمنظوره» را به صفحات دارای تبلیغات مسدود خواهد کرد.
- تغییر در مدل درآمدزایی: Cloudflare در حال گذار از مدل «Pay Per Crawl» به مدل «Pay Per Use» است که به ناشران اجازه میدهد بر اساس ارزش محتوا از شرکتهای هوش مصنوعی هزینه دریافت کنند.
- افزایش کارایی: سیاست جدید با هدف کاهش ۵۰ درصد از ترافیک خزش هوش مصنوعی که در حال حاضر صرف بازخوانی صفحات وب تغییرنیافته میشود، تدوین شده است.