Cloudflare-এর নতুন AI ক্রলার কন্ট্রোলস
ওয়েবসাইটের ট্রাফিক পরিবর্তিত হচ্ছে।
অতীতে, সার্চ ইঞ্জিনগুলো মানুষকে আপনাকে খুঁজে পেতে সাহায্য করার জন্য আপনার সাইট ক্রল করত। এটি ছিল একটি সহজ বিষয়। AI এটিকে অনেক বেশি জটিল করে তুলেছে।
একটি বট সার্চ রেজাল্টে দেখানোর জন্য আপনার পেজ ক্রল করতে পারে। কিন্তু একটি AI মডেল প্রশিক্ষণের জন্য আপনার পেজ ক্রল করা সম্পূর্ণ ভিন্ন বিষয়।
Cloudflare এটি পরিচালনা করার পদ্ধতি পরিবর্তন করছে। ১ জুলাই, ২০২৬ থেকে সকল গ্রাহক নতুন AI ট্রাফিক কন্ট্রোল পাবেন। এটি আপনাকে ট্রাফিককে তিনটি গ্রুপে ভাগ করার সুবিধা দেবে:
- Search: বট যা সার্চ ইঞ্জিন বা AI উত্তরের জন্য কন্টেন্ট ইনডেক্স করে।
- Agent: বট যা কোনো কাজ সম্পন্ন করার জন্য ব্যবহারকারীর পক্ষ থেকে কাজ করে।
- Training: বট যা AI মডেল প্রশিক্ষণ বা ফাইন-টিউন করার জন্য ডেটা সংগ্রহ করে।
এই পরিবর্তন দৃশ্যমানতাকে (visibility) একটি অ্যাক্সেস পলিসি বা প্রবেশাধিকার নীতির সিদ্ধান্তে পরিণত করেছে। এটি এখন আর কেবল একটি SEO সিদ্ধান্ত নয়।
আপনি যদি একটি SaaS কোম্পানি পরিচালনা করেন, তবে আপনার ডকুমেন্টেশন, প্রাইসিং এবং হেল্প সেন্টারের মতো পাবলিক পেজগুলো ভ্যালু তৈরি করে। এগুলো আপনাকে গ্রাহক পেতে এবং তাদের সহায়তা করতে সাহায্য করে।
আপনাকে সিদ্ধান্ত নিতে হবে আপনি কতটা অ্যাক্সেস দিতে চান।
পুরানো প্রশ্নটি ছিল: সার্চ ইঞ্জিনগুলো কি আমাদের খুঁজে পেতে পারে? নতুন প্রশ্নটি হলো: কোন স্বয়ংক্রিয় সিস্টেমগুলো আমাদের সাইট ব্যবহার করবে এবং কী উদ্দেশ্যে ব্যবহার করবে?
সব AI বটকে একইভাবে বিবেচনা করবেন না।
১. Search বট ব্যবহারকারীদের আপনার প্রোডাক্ট খুঁজে পেতে সাহায্য করে। তাদের ব্লক করলে আপনি AI-চালিত সার্চ রেজাল্টে অদৃশ্য হয়ে যেতে পারেন।
২. AI এজেন্টগুলো কার্যকর হতে পারে। একজন এজেন্ট ব্যবহারকারীকে প্ল্যান তুলনা করতে সাহায্য করার জন্য আপনার প্রাইসিং পেজটি ভিজিট করতে পারে। তবে, এই এজেন্টগুলোর জন্য authentication বা rate limits প্রয়োজন কি না, তা আপনাকে ঠিক করতে হবে।
৩. Training বটগুলো সরাসরি কম ভ্যালু প্রদান করে। তারা মডেল তৈরির জন্য আপনার কন্টেন্ট ব্যবহার করে কিন্তু ব্যবহারকারীদের আপনার সাইটে ফিরিয়ে নাও আনতে পারে। অনেক কোম্পানি এগুলো ব্লক করা বেছে নেয়।
একটি স্মার্ট পলিসি দেখতে এমন হতে পারে:
- আপনার প্রোডাক্ট এবং হেল্প পেজ ইনডেক্স করার জন্য Search বটগুলোকে অনুমতি দিন।
- ব্যবহারকারী-নির্দেশিত Agentদের পাবলিক ডকুমেন্টেশনে অ্যাক্সেস করার অনুমতি দিন।
- Training বটগুলোর জন্য অ্যাক্সেস ব্লক করুন অথবা লাইসেন্সিং ব্যবস্থা রাখুন।
- সমস্ত authenticated প্রোডাক্ট এরিয়া সুরক্ষিত রাখুন।
নিয়মিত আপনার ট্রাফিক পর্যালোচনা করুন। ক্রলার ক্যাটাগরি, সার্ভার লোড এবং সার্চ ভিজিবিলিটি লক্ষ্য করুন।
লক্ষ্য প্রতিটি বটকে ব্লক করা নয়। লক্ষ্য হলো তারা কী করছে তা নিয়ন্ত্রণ করা।