এআই কোম্পানিগুলোকে প্রকাশকদের অর্থ প্রদান করতে বাধ্য করতে Cloudflare সময়সীমা নির্ধারণ করেছে

Cloudflare একটি যুগান্তকারী নীতি পরিবর্তনের ঘোষণা দিয়েছে, যা প্রথাগত সার্চ ক্রলিং (search crawling)-কে এআই প্রশিক্ষণ (AI training) এবং এজেন্টিক পরিষেবা (agentic services) থেকে আলাদা করার জন্য ডিজাইন করা হয়েছে। কঠোর নতুন ডিফল্ট সেটিংস প্রয়োগের মাধ্যমে, এই এজ কম্পিউটিং জায়ান্টের লক্ষ্য হলো বুদ্ধিবৃত্তিক সম্পদ রক্ষা করা এবং ওয়েব প্রকাশকদের জন্য একটি টেকসই অর্থনৈতিক ইকোসিস্টেম তৈরি করা।

"মিশ্র-ব্যবহারকারী" (Mixed-Use) ক্রলারদের অবসান

বর্তমান ডেটা-স্ক্র্যাপিংয়ের স্থিতাবস্থাকে সরাসরি চ্যালেঞ্জ জানিয়ে, Cloudflare "মিশ্র-ব্যবহারকারী" ক্রলারদের উত্থান মোকাবিলা করতে ১৫ সেপ্টেম্বর, ২০২৬ তারিখের একটি সময়সীমা নির্ধারণ করেছে। এগুলো এমন বট যা প্রথাগত সার্চ ইনডেক্সিংয়ের সাথে এআই মডেল প্রশিক্ষণ এবং এজেন্টিক ফাংশনগুলোকে মিশ্রিত করে। সেই তারিখ থেকে, Cloudflare-এর ডিফল্ট সেটিংস স্বয়ংক্রিয়ভাবে এই হাইব্রিড ক্রলারগুলোকে বিজ্ঞাপনযুক্ত যেকোনো পেজ অ্যাক্সেস করা থেকে ব্লক করে দেবে।

এই নীতি পরিবর্তনটি Cloudflare-এর সমস্ত নতুন গ্রাহক, বিদ্যমান গ্রাহকদের দ্বারা তৈরি নতুন সাইট এবং সমস্ত বর্তমান ফ্রি-টিয়ার ব্যবহারকারীদের জন্য প্রযোজ্য হবে। এর লক্ষ্য হলো এআই কোম্পানিগুলোকে তাদের উদ্দেশ্য স্পষ্ট করতে বাধ্য করা: যদি একটি বট সার্চের জন্য কোনো সাইট ইনডেক্স করতে চায়, তবে সেটি একটি পথ অনুসরণ করবে; আর যদি এটি একটি Large Language Model (LLM) প্রশিক্ষণের জন্য ডেটা গ্রহণ করতে চায়, তবে তাকে অন্য একটি পথ অনুসরণ করতে হবে—যেখানে সম্ভাব্য ক্ষতিপূরণ বা পারিশ্রমিকের প্রয়োজন হতে পারে।

সার্চ জায়ান্টদের আধিপত্যকে চ্যালেঞ্জ জানানো

এই সিদ্ধান্তের পেছনে একটি উল্লেখযোগ্য কারণ হলো প্রধান সার্চ ইঞ্জিনগুলোর অন্যায্য সুবিধার ধারণা। Cloudflare বিশেষভাবে উল্লেখ করেছে যে বিশ্বের বৃহত্তম সার্চ ইঞ্জিন—যা ব্যাপকভাবে Google হিসেবে পরিচিত—বর্তমানে তার এআই প্রতিযোগীদের তুলনায় প্রায় "২ গুণ বেশি তথ্য" অ্যাক্সেস করতে পারে।

যদিও Google "Google Extended" সুবিধা প্রদান করে যাতে প্রকাশকরা সার্চ ভিজিবিলিটি বা দৃশ্যমানতা প্রভাবিত না করেই এআই প্রশিক্ষণ থেকে নিজেদের বাদ দিতে পারেন, তবুও এর ফ্ল্যাগশিপ Googlebot 'AI Overviews'-এর মতো ফিচারগুলোকে সচল রাখতে ব্যাপকভাবে ক্রলিং চালিয়ে যাচ্ছে। Cloudflare-এর এই হস্তক্ষেপ প্রতিযোগিতার ক্ষেত্রকে সমান করার চেষ্টা করছে, যাতে এআই কোম্পানিগুলো সার্চ ইঞ্জিনগুলোর বিশাল ইনডেক্সিং ক্ষমতা ব্যবহার করে বিনামূল্যে তাদের মডেল প্রশিক্ষণ দিতে না পারে।

"Pay Per Use" মডেলের দিকে অগ্রসর হওয়া

শুধুমাত্র ব্লক করার বাইরেও, Cloudflare সক্রিয়ভাবে একটি নতুন কন্টেন্ট অর্থনীতির অবকাঠামো তৈরি করছে। কোম্পানিটি তাদের "Pay Per Crawl" মার্কেটপ্লেসকে আরও উন্নত "Pay Per Use" মডেলে রূপান্তরিত করছে। এই কাঠামোর অধীনে, প্রকাশকরা এআই কোম্পানিগুলোর কাছ থেকে কেবল ডেটা সংগ্রহের জন্য নয়, বরং সেই কন্টেন্ট যখন প্রকৃতপক্ষে ভ্যালু বা মূল্য তৈরি করবে, তখন চার্জ করতে পারবেন।

এটি পরীক্ষামূলকভাবে চালু করতে Cloudflare, Ceramic.ai এবং You.com-এর সাথে অংশীদারিত্ব করছে। এই অংশীদারিত্বের মাধ্যমে, প্রকাশকরা সরাসরি ক্ষতিপূরণ পেতে পারেন যখন তাদের কন্টেন্ট Ceramic-এর এআই সার্চ রেজাল্টে প্রদর্শিত হয় বা যখন You.com প্রিমিয়াম ম্যাটেরিয়াল অ্যাক্সেস করে। এই পরিবর্তনটি বর্তমান ওয়েবের একটি গুরুতর অদক্ষতাকে দূর করে: Cloudflare-এর তথ্য প্রকাশ করেছে যে, এআই ক্রলার ট্র্যাফিকের ৫০%-এর বেশি অপরিবর্তিত পেজ পুনরায় সংগ্রহের (re-fetching) কাজে অপচয় হয়, যা প্রকাশকদের ব্যান্ডউইথ এবং এআই কম্পিউট রিসোর্স উভয়কেই ক্ষয় করে।

এআই ল্যান্ডস্কেপের জন্য এটি কেন গুরুত্বপূর্ণ

ইন্টারনেটে যেহেতু এখন মানুষের চেয়ে নন-হিউম্যান ট্রাফিক বেশি হয়ে দাঁড়িয়েছে, তাই "সবকিছু বিনামূল্যে স্ক্র্যাপ করার" যুগটি এখন একটি বাধার সম্মুখীন হচ্ছে। Cloudflare-এর এই পদক্ষেপ একটি আরও নিয়ন্ত্রিত এবং লেনদেননির্ভর ওয়েবের দিকে পরিবর্তনের সংকেত দিচ্ছে। এআই ডেভেলপারদের জন্য এর অর্থ হলো—ঘর্ষণহীন বা কোনো খরচ ছাড়াই ডেটা সংগ্রহের যুগ শেষ হচ্ছে, যা দীর্ঘমেয়াদী ডেটা সক্ষমতা নিশ্চিত করতে কন্টেন্ট ক্রিয়েটরদের সাথে আরও স্বচ্ছ এবং সহযোগিতামূলক সম্পর্কের প্রয়োজনীয়তা তৈরি করছে।

মূল বিষয়সমূহ

• ডিফল্ট ব্লকিং: ১৫ সেপ্টেম্বর, ২০২৬ থেকে Cloudflare ডিফল্টভাবে বিজ্ঞাপন-সমর্থিত পেজ থেকে "মিশ্র-ব্যবহারকারী" ক্রলারদের ব্লক করে দেবে।
• মনিটাইজেশন পরিবর্তন: Cloudflare "Pay Per Crawl" থেকে "Pay Per Use" মডেলে রূপান্তরিত হচ্ছে, যা প্রকাশকদের কন্টেন্টের মূল্যের ভিত্তিতে এআই কোম্পানিগুলোর কাছ থেকে চার্জ করার সুযোগ দেবে।
• দক্ষতা বৃদ্ধি: নতুন নীতির লক্ষ্য হলো এআই ক্রল ট্র্যাফিকের সেই ৫০% অপচয় কমানো যা বর্তমানে অপরিবর্তিত ওয়েব পেজ পুনরায় সংগ্রহের কাজে ব্যবহৃত হচ্ছে।