Cloudflare نے AI کمپنیوں کو پبلشرز کو ادائیگی کرنے پر مجبور کرنے کے لیے ڈیڈ لائن مقرر کر دی
Cloudflare نے ایک تاریخی پالیسی تبدیلی کا اعلان کیا ہے جس کا مقصد روایتی سرچ کرالنگ (search crawling) کو AI ٹریننگ اور ایجنٹک سروسز سے الگ کرنا ہے۔ سخت نئے ڈیفالٹ اصول نافذ کر کے، ایج کمپیوٹنگ (edge computing) کی یہ بڑی کمپنی کا مقصد دانشورانہ ملکیت (intellectual property) کا تحفظ کرنا اور ویب پبلشرز کے لیے ایک پائیدار معاشی نظام (economic ecosystem) تخلیق کرنا ہے۔
"Mixed-Use" کرالرز کا خاتمہ
ڈیٹا اسکریپنگ (data-scraping) کے موجودہ طریقہ کار کو براہ راست چیلنج کرتے ہوئے، Cloudflare نے "mixed-use" کرالرز کے بڑھتے ہوئے رجحان سے نمٹنے کے لیے 15 ستمبر 2026 کی ڈیڈ لائن مقرر کی ہے۔ یہ وہ بوٹس ہیں جو روایتی سرچ انڈیکسنگ کو AI ماڈل ٹریننگ اور ایجنٹک افعال کے ساتھ ملا دیتے ہیں۔ اس تاریخ سے، Cloudflare کی ڈیفالٹ سیٹنگز خود بخود ان ہائبرڈ کرالرز کو ان تمام صفحات تک رسائی سے روک دیں گی جن پر اشتہارات موجود ہیں۔
یہ پالیسی تبدیلی Cloudflare کے تمام نئے صارفین، موجودہ صارفین کے ذریعے بنائی گئی نئی سائٹس، اور تمام موجودہ فری ٹائر (free-tier) صارفین پر لاگو ہوگی۔ اس کا مقصد AI کمپنیوں کو اپنے مقصد کی وضاحت کرنے پر مجبور کرنا ہے: اگر کوئی بوٹ سرچ کے لیے سائٹ کو انڈیکس کرنا چاہتا ہے، تو وہ ایک راستہ اختیار کرے گا؛ لیکن اگر وہ Large Language Model (LLM) کی ٹریننگ کے لیے ڈیٹا حاصل کرنا چاہتا ہے، تو اسے دوسرا راستہ اختیار کرنا ہوگا—ایسا راستہ جس میں ممکنہ طور پر معاوضے کی ضرورت ہوگی۔
سرچ کے بڑے کھلاڑی کے غلبے کو چیلنج کرنا
اس فیصلے کے پیچھے ایک اہم وجہ بڑے سرچ انجنوں کے پاس موجود غیر منصفانہ فوائد کا تصور ہے۔ Cloudflare نے خاص طور پر اس بات پر روشنی ڈالی کہ دنیا کا سب سے بڑا سرچ انجن—جسے عام طور پر Google سمجھا جاتا ہے—اس وقت اپنے AI حریفوں کے مقابلے میں تقریباً "دو گنا زیادہ معلومات" تک رسائی رکھتا ہے۔
اگرچہ Google "Google Extended" کی سہولت فراہم کرتا ہے تاکہ پبلشرز سرچ ویزیبلٹی (visibility) کو متاثر کیے بغیر AI ٹریننگ سے الگ ہو سکیں، لیکن اس کا اہم Googlebot AI Overviews جیسے فیچرز کو چلانے کے لیے بڑے پیمانے پر کرالنگ جاری رکھتا ہے۔ Cloudflare کی یہ مداخلت میدان کو برابر کرنے کی کوشش ہے، تاکہ یہ یقینی بنایا جا سکے کہ AI کمپنیاں مفت میں اپنے ماڈلز کی تربیت کے لیے سرچ انجنوں کی وسیع انڈیکسنگ کی صلاحیتوں کا ناجائز فائدہ نہ اٹھا سکیں۔
"Pay Per Use" ماڈلز کی طرف پیش قدمی
محض بلاکنگ سے ہٹ کر، Cloudflare ایک نئی مواد کی معیشت (content economy) کے لیے بنیادی ڈھانچہ تیار کر رہا ہے۔ کمپنی اپنے "Pay Per Crawl" مارکیٹ پلیس کو ایک زیادہ جدید "Pay Per Use" ماڈل میں تبدیل کر رہی ہے۔ اس فریم ورک کے تحت، پبلشرز AI کمپنیوں سے نہ صرف ڈیٹا حاصل کرنے کے عمل کے لیے، بلکہ اس وقت بھی چارج کر سکتے ہیں جب وہ مواد اصل میں کوئی قدر (value) پیدا کرے۔
اس کا تجربہ کرنے کے لیے، Cloudflare Ceramic.ai اور You.com کے ساتھ شراکت داری کر رہا ہے۔ ان شراکت داریوں کے ذریعے، پبلشرز کو براہ راست معاوضہ مل سکتا ہے جب ان کا مواد Ceramic کے AI سرچ رزلٹس میں ظاہر ہو یا جب You.com پریمیئم مواد تک رسائی حاصل کرے۔ یہ تبدیلی موجودہ ویب کے ایک اہم عدم کارکردگی (inefficiency) کو حل کرتی ہے: Cloudflare کے ڈیٹا سے پتہ چلتا ہے کہ AI کرالر ٹریفک کا 50 فیصد سے زیادہ حصہ تبدیل نہ ہونے والے صفحات کو دوبارہ حاصل کرنے میں ضائع ہو جاتا ہے، جو کہ پبلشرز کے بینڈوتھ اور AI کمپیوٹ ریسورسز دونوں کو ضائع کرنے والا عمل ہے۔
AI کے منظر نامے کے لیے یہ کیوں اہم ہے
چونکہ انٹرنیٹ پر اب انسانی ٹریفک سے زیادہ غیر انسانی ٹریفک ہو چکی ہے، اس لیے "سب کچھ مفت میں اسکریپ کرنے" کا دور اب ختم ہو رہا ہے۔ Cloudflare کا یہ اقدام ایک زیادہ منظم اور لین دین والی (transactional) ویب کی طرف منتقلی کا اشارہ ہے۔ AI ڈویلپرز کے لیے، اس کا مطلب ہے کہ بغیر کسی رکاوٹ اور صفر لاگت کے ڈیٹا حاصل کرنے کا دور ختم ہو رہا ہے، جس کے لیے ڈیٹا کی طویل مدتی بقا کو یقینی بنانے کے لیے مواد تخلیق کرنے والوں کے ساتھ زیادہ شفاف اور تعاون پر مبنی تعلقات کی ضرورت ہوگی۔
اہم نکات
- ڈیفالٹ بلاکنگ: 15 ستمبر 2026 سے، Cloudflare اشتہارات پر مبنی صفحات سے "mixed-use" کرالرز کو بلاک کرنے کو ڈیفالٹ بنائے گا۔
- آمدنی کے ماڈل میں تبدیلی: Cloudflare "Pay Per Crawl" سے "Pay Per Use" ماڈل کی طرف منتقل ہو رہا ہے، جس سے پبلشرز کو مواد کی قدر کی بنیاد پر AI کمپنیوں سے چارج کرنے کی اجازت ملے گی۔
- کارکردگی میں بہتری: نئی پالیسی کا مقصد AI کرال ٹریفک کے اس 50 فیصد حصے کو کم کرنا ہے جو فی الحال تبدیل نہ ہونے والے ویب صفحات کو دوبارہ حاصل کرنے میں ضائع ہو رہا ہے۔