ক্রল বাজেট রিক্লেমেশন

𝗖𝗿𝗮𝘄𝗹 𝗕𝘂𝗱𝗴𝗲𝘁 𝗥𝗲𝗰𝗹𝗮𝗺𝗮𝘁𝗶𝗼𝗻

গুগল আপনার সাইটে কতগুলো URL ক্রল করবে তা নির্ধারণ করে। এটিই হলো আপনার ক্রল বাজেট। এটি দুটি অংশ নিয়ে গঠিত: ক্রল ক্যাপাসিটি (crawl capacity) এবং ক্রল ডিমান্ড (crawl demand)।

ক্রল ক্যাপাসিটি আপনার সার্ভারের গতির ওপর নির্ভর করে। আপনার সার্ভার যদি দ্রুত রেসপন্স করে, তবে গুগল আরও বেশি ক্রল করবে।

ক্রল ডিমান্ড আপনার কন্টেন্টের ওপর নির্ভর করে। আপনার কন্টেন্ট যদি সবসময় নতুন এবং জনপ্রিয় থাকে, তবে গুগল সেটি আরও ঘনঘন দেখতে চাইবে।

বেশিরভাগ ছোট সাইটের জন্য এটি নিয়ে চিন্তিত হওয়ার প্রয়োজন নেই। আপনার যদি ১০,০০০-এর কম পেজ থাকে, তবে পরিবর্তে একটি ভালো সাইটম্যাপের (sitemap) দিকে মনোযোগ দিন।

আপনার কেবল তখনই পদক্ষেপ নেওয়া প্রয়োজন যদি আপনার থাকে:

• ১০ লক্ষাধিক ইউনিক পেজ।
• ১০,০০০-এর বেশি পেজ যা প্রতিদিন পরিবর্তিত হয়।
• Search Console-এ অনেক URL "Discovered – currently not indexed" হিসেবে আটকে আছে।

অপচয় হওয়া ক্রল বাজেট সাধারণত কাঠামোগত সমস্যার কারণে হয়। সাধারণ সমস্যাগুলোর মধ্যে রয়েছে:

• ফেসেটেড নেভিগেশন (Faceted navigation) এবং URL প্যারামিটার।
• ইনফিনিট ফিল্টার চেইন বা ক্যালেন্ডার।
• সফট ৪০৪ (Soft 404) এরর।
• ডুপ্লিকেট বা থিন কন্টেন্ট (thin content)।
• দীর্ঘ রিডাইরেক্ট চেইন।
• ধীরগতির সার্ভার রেসপন্স টাইম।

আপনার ক্রল বাজেট ঠিক করতে এই ধাপগুলো অনুসরণ করুন:

• ডুপ্লিকেট পেজগুলো মার্জ করুন এবং canonical tags ব্যবহার করুন।
• অপ্রয়োজনীয় URL ব্লক করতে robots.txt ব্যবহার করুন। এর জন্য noindex ব্যবহার করবেন না। গুগলকে একটি noindex ট্যাগ দেখার জন্য পেজটি ক্রল করতে হয়, যা তবুও বাজেট অপচয় করে।
• সরিয়ে ফেলা পেজগুলোর জন্য 404 বা 410 স্ট্যাটাস কোড প্রদান করুন।
• সঠিক lastmod তারিখ দিয়ে আপনার সাইটম্যাপ আপডেট করুন।
• ক্যাপাসিটি বাড়াতে আপনার সার্ভারের গতি উন্নত করুন।

কিছু বিশেষজ্ঞ ট্রাফিক বাড়ানোর জন্য নিম্নমানের কন্টেন্ট মুছে ফেলার পরামর্শ দেন। একটি গবেষণায় দেখা গেছে যে, পুরনো এবং জিরো-ট্রাফিক পোস্টগুলো মুছে ফেলার পর ট্রাফিক ৬৭% বৃদ্ধি পেয়েছে। তবে সতর্ক থাকুন। কন্টেন্ট মুছে ফেলা সাইটের মান এবং ফোকাস উন্নত করে, কিন্তু এটি প্রবৃদ্ধির কোনো নিশ্চিত কৌশল নয়।

ক্রল বাজেট রিক্লেমেশন হলো কার্যকারিতা বা এফিসিয়েন্সি নিয়ে। এটি নিশ্চিত করে যে গুগল দ্রুত আপনার সেরা পেজগুলো খুঁজে পায়। এটি সরাসরি আপনার র‍্যাঙ্কিং পরিবর্তন করে না।

কিছু মুছে ফেলার আগে আপনার সাইট অডিট করুন। শুধুমাত্র একটি সংখ্যা পূরণ করার জন্য নয়, বরং গুণমানের জন্য অপ্রয়োজনীয় অংশ ছেঁটে ফেলুন (Prune)।

উৎস: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g