উইকিমডিয়ার ইঞ্জিনিয়ারিং টিম বলছে যে এআই-চালিত ক্রলারগুলো প্ল্যাটফর্মের সবচেয়ে ব্যয়বহুল ট্রাফিকের ৬৫% তৈরি করছে, যা আপাতদৃষ্টিতে নিরীহ মনে হওয়া বট-এর আধিক্যকে সার্ভার বিলের একটি বড় খাতে পরিণত করছে। একই চিত্র এখন ছোট ব্লগ এবং শখের সাইটগুলোতেও দেখা যাচ্ছে।

কেন এই বৃদ্ধি গুরুত্বপূর্ণ

মানুষ বা প্রকৃত ভিজিটররা জনপ্রিয় পৃষ্ঠাগুলোতে—যেমন হোমপেজ, ফিচারড আর্টিকেল এবং অন্যান্য পরিচিত কন্টেন্টে—বেশি সময় কাটায়। CDN-গুলো সেই পৃষ্ঠাগুলোকে এজ লোকেশনে (edge locations) ক্যাশ (cache) করে রাখে, ফলে অরিজিন সার্ভারকে খুব একটা ভারী কাজ করতে হয় না। এর বিপরীতে, এআই ক্রলারগুলো একটি মাত্র রানে হাজার হাজার অস্পষ্ট (obscure) URL স্ক্র্যাপ করে। এই পৃষ্ঠাগুলো খুব কমই ক্যাশ করা থাকে, তাই প্রতিটি রিকোয়েস্ট সরাসরি উইকিমডিয়ার অরিজিন ইনফ্রাস্ট্রাকচারে চলে আসে। এর ফলে: মোট ট্রাফিকের একটি তুলনামূলকভাবে ছোট অংশের জন্য কম্পিউট, স্টোরেজ এবং নেটওয়ার্কের একটি অসামঞ্জস্যপূর্ণ পরিমাণ ব্যবহার হয়।

ডেটা প্রকাশকারী ইঞ্জিনিয়ারিং ব্লগটি উল্লেখ করেছে যে, যদিও মোট রিকোয়েস্টের মধ্যে বটগুলোর অংশ সামান্য, তবুও তারা "ব্যয়বহুল" (costly) অংশের ওপর আধিপত্য বিস্তার করছে।

কারা এর প্রভাব অনুভব করছে

ছোট অপারেটরদের কাছে সেই সুরক্ষা বা বাফার (cushion) নেই। এই লুকানো খরচ শুধু টাকাই নয়; এটি প্রকৃত ভিজিটরদের জন্য পারফরম্যান্স বা কার্যকারিতা কমে যাওয়ার ঝুঁকিও তৈরি করে।

সাইট মালিকরা কী করতে পারেন

  • রেট-লিমিটিং (rate-limiting) দিয়ে শুরু করুন – একটি নির্দিষ্ট সময়ের মধ্যে একটি একক IP থেকে আসা রিকোয়েস্টের সংখ্যা সীমিত করুন। এটি সরাসরি অ্যাক্সেস বন্ধ না করেই আক্রমণাত্মক ক্রলারগুলোর গতি কমিয়ে দেয়।
  • দৃশ্যমানতা বনাম খরচের ভারসাম্য রক্ষা করুন – একটি সার্চ-ইঞ্জিন বটকে ব্লক করলে ট্রাফিক কিছুটা কমতে পারে, কিন্তু এটি আপনার পৃষ্ঠাগুলোকে ইনডেক্স থেকে সরিয়ে দিতে পারে, যা অর্গানিক ডিসকভারেবিলিটি বা সহজে খুঁজে পাওয়ার ক্ষমতাকে ক্ষতিগ্রস্ত করে।
  • বটগুলোকে শ্রেণীবদ্ধ করুন – সব ক্রলার একরকম নয়। কিছু বট বৈধ সার্চ টুলের অংশ যা ট্রাফিক নিয়ে আসে; অন্যগুলো হলো নিছক স্ক্র্যাপার যা কোনো ভ্যালু যোগ করে না।
  • প্রুফ-অফ-ওয়ার্ক (proof-of-work) চ্যালেঞ্জ প্রয়োগ করুন – একটি পৃষ্ঠা দেখানোর আগে একটি ছোট কম্পিউটেশনাল পাজল বা ধাঁধার প্রয়োজন করুন। মানুষ বা সাধারণ ব্রাউজার এটি তাৎক্ষণিকভাবে সমাধান করতে পারে; কিন্তু বটগুলোকে অতিরিক্ত সাইকেল বা শক্তি ব্যয় করতে হবে, যা তাদের খরচ বাড়িয়ে দেবে।
  • CDN অ্যানালিটিক্স ব্যবহার করুন – বেশিরভাগ CDN প্রতিটি বটের রিকোয়েস্ট মেট্রিক্স প্রদর্শন করে। কোন এজেন্টগুলো সবচেয়ে বেশি অরিজিনে হিট করছে তা শনাক্ত করুন এবং সেই অনুযায়ী নিয়ম তৈরি করুন।

মূল কথাটি সহজ: এআই ক্রলারগুলো এখন আর কেবল একটি কৌতূহল বা বিনামূল্যে সুবিধা নেওয়া বিষয় নয়; এগুলো এখন একটি পরিমাপযোগ্য খরচের উৎস। আপনি একটি বিশ্বব্যাপী এনসাইক্লোপিডিয়া চালান বা একটি মাত্র পৃষ্ঠার পোর্টফোলিও, আপনার ইনফ্রাস্ট্রাকচার বাজেটে বট ট্রাফিককে একটি নির্দিষ্ট খরচ হিসেবে বিবেচনা করলে আকস্মিক বিল এড়ানো সম্ভব এবং প্রকৃত ব্যবহারকারীদের জন্য আপনার সাইটটি দ্রুত ও কার্যকর রাখা সম্ভব।