একটি ৫,০০০-SKU বিশিষ্ট ইন্ডাস্ট্রিয়াল-টুল ক্যাটালগের অডিটে দেখা গেছে যে, Googlebot সাইটের ফিল্টার URL-গুলো দিনে তিনবার ক্রল করছে, যেখানে প্রধান ক্যাটাগরি পেজগুলো প্রতি তিন সপ্তাহে মাত্র একবার ভিজিট করা হচ্ছে। ফলাফল? নতুন প্রোডাক্টগুলো সার্চ রেজাল্টে আসতে এক মাস সময় লেগে যাচ্ছিল কারণ ক্রলারটি কম-মূল্যবান URL-গুলোতে আটকে ছিল।
কেন ফাসিটেড সার্চ (faceted search) ক্রল বাজেটের ক্ষতি করে
ফাসিটেড সার্চ ক্রেতাদের উপাদান, আকার, কোটিং এবং অন্যান্য বৈশিষ্ট্য অনুযায়ী ফলাফল সীমিত করতে সাহায্য করে। প্রতিটি ফাসিট URL-এ একটি প্যারামিটার যোগ করে, এবং পাঁচটি ডাইমেনশন থাকলে সম্ভাব্য কম্বিনেশনগুলো হাজার হাজার ইউনিক পেজে পরিণত হয়। এর মধ্যে বেশিরভাগ পেজেই প্রায় একই প্রোডাক্ট লিস্ট থাকে, তবুও Google প্রতিটিটিকে আলাদা URL হিসেবে গণ্য করে। যেহেতু Google-এর ক্রল বাজেট — অর্থাৎ একটি সাইটে প্রতিদিন এটি কতগুলো পেজ সংগ্রহ করবে — তা সীমিত, তাই এটি সেইসব URL-এ মূল্যবান সময় ব্যয় করে যা ব্যবহারকারী বা সার্চের জন্য খুব একটা কাজে আসে না।
সাইটের URL স্ট্রাকচার বটটিকে একটি “ক্রল ট্র্যাপ” (crawl trap)-এর দিকে ঠেলে দেয়, যেখানে এটি অন্তহীনভাবে এমন সব লিঙ্ক অনুসরণ করে যা প্রায় একই রকম বা ডুপ্লিকেট পেজে নিয়ে যায়।
ঝুঁকির মুখে কী কী আছে
- ইনডেক্সিং স্পিড – দেরিতে আবিষ্কার হওয়ার অর্থ হলো নতুন ইনভেন্টরি কয়েক সপ্তাহ পর্যন্ত অদৃশ্য থেকে যায়, যা বিক্রিতে প্রভাব ফেলে।
- সার্চ ভিজিবিলিটি – যদি Google তার বাজেট ফিল্টার পেজগুলোতে ব্যয় করে, তবে উচ্চ-অগ্রাধিকার সম্পন্ন প্রোডাক্ট পেজগুলো হয়তো কখনোই ক্রল করা হবে না, যা তাদের র্যাঙ্ক করার সম্ভাবনা কমিয়ে দেয়।
ক্রল বাজেট পুনরুদ্ধারের একটি ধাপে ধাপে নির্দেশিকা
উচ্চ-মূল্যবান ফাসিটগুলো চিহ্নিত করুন
এমন ফিল্টার কম্বিনেশন খুঁজে বের করুন যা প্রকৃত সার্চ ট্রাফিক তৈরি করে। সেই URL-গুলোকে একটি পরিষ্কার এবং বর্ণনামূলক পাথ দিন (যেমন,/end-mill/coating-tialn/)। উচ্চ-মূল্যবান পেজগুলোকে সম্পূর্ণভাবে ক্রলযোগ্য এবং ইনডেক্সযোগ্য রাখুন।মাঝারি-মূল্যবান ফাসিটগুলোর জন্য canonical ট্যাগ ব্যবহার করুন
যখন একটি ফিল্টার দরকারী কিন্তু সার্চ ভলিউম কম, তখন URL-টিকে অ্যাক্সেসযোগ্য রাখুন তবে একটিrel=canonicalট্যাগ যোগ করুন যা মূল ক্যাটাগরি পেজকে নির্দেশ করে। এটি Google-কে জানায় যে ক্যাটাগরি পেজটিই হলো পছন্দের ভার্সন।robots.txt-এর মাধ্যমে কম-মূল্যবান ফাসিটগুলো ব্লক করুন
robots.txt-এ সেই প্যাটার্নগুলো Disallow করে দিন যাতে Googlebot সেগুলো কখনোই রিকোয়েস্ট না করে।অ্যাডভান্সড ফিল্টারগুলোকে লিঙ্ক হিসেবে নয়, বরং বাটন হিসেবে রেন্ডার করুন
বটগুলো<a\>এলিমেন্ট অনুসরণ করে কিন্তু<button\>এলিমেন্ট উপেক্ষা করে। ফিল্টার কন্ট্রোলগুলো বাটন হিসেবে প্রদান করুন যা নতুন URL তৈরি না করেই JavaScript ট্রিগার করবে। এতে ব্যবহারকারীরা তাদের প্রয়োজনীয় UI পাবেন, আবার ক্রলারটি কোনো অদরকারি URL খুঁজে পাবে না।“noindex” ট্র্যাপ এড়িয়ে চলুন
৩০,০০০ ফিল্টার URL-এnoindexযোগ করলেও Google-কে প্রথমে প্রতিটি পেজ ডাউনলোড করতে বাধ্য করতে হয়, তারপর নির্দেশটি পড়ে সেটি উপেক্ষা করে। ক্রল পুরোপুরি বন্ধ করতেrobots.txtব্যবহার করুন; শুধুমাত্র সেই পেজগুলোই রীচেবল হওয়া উচিত যেগুলোকে আপনি ইনডেক্স করতে চান।
সাফল্য পরিমাপ করা
র্যাঙ্কিং থেকে ফোকাস সরিয়ে ইনডেক্সিং স্পিডের দিকে নিয়ে আসুন। পরিবর্তন আনার আগে এবং পরে একটি নতুন যুক্ত প্রোডাক্ট Google-এর ইনডেক্সে আসতে কত সময় লাগছে তা ট্র্যাক করুন। ২১ দিনের বিলম্ব থেকে কমিয়ে ৩ দিনে নিয়ে আসা মানে হলো আপনার কৌশলটি কাজ করছে।
পাল্টা যুক্তি: ইউজেবিলিটি বনাম ক্রল এফিসিয়েন্সি
UI ঠিক রাখুন—বাটন ব্যবহার করলে ব্যবহারকারীরা ফলাফল আরও নিখুঁত করতে পারবেন—পাশাপাশি ক্রলারের কাছে মূল URL-গুলোকে অদৃশ্য রাখুন। যদি কোনো নির্দিষ্ট ফিল্টার নেভিগেশনের জন্য অপরিহার্য প্রমাণিত হয়, তবে সেটিকে উচ্চ-মূল্যবান ফাসিট হিসেবে উন্নীত করুন এবং একটি পরিষ্কার, ক্রলযোগ্য URL দিন।
এরপর যা খেয়াল রাখতে হবে
- Search Console ক্রল স্ট্যাটস – “Requests blocked by robots.txt”-এর হ্রাস এবং প্রোডাক্ট পেজগুলোর জন্য “Crawl depth”-এর বৃদ্ধি দেখতে “Crawl Stats” রিপোর্টটি মনিটর করুন।
সারসংক্ষেপ: ফাসিটগুলো শ্রেণীবদ্ধ করুন, canonical ট্যাগ ব্যবহার করুন, কম-মূল্যবান URL ব্লক করুন এবং লিঙ্কের পরিবর্তে বাটন ব্যবহার করুন। বড় ই-কমার্স সাইটগুলো Googlebot-কে গুরুত্বপূর্ণ পেজগুলোর দিকে পরিচালিত করতে পারে, যা ক্রেতার কার্যকারিতা বা ইউজার এক্সপেরিয়েন্স নষ্ট না করেই ইনডেক্সিংয়ের সময় সপ্তাহ থেকে কমিয়ে কয়েক দিনে নিয়ে আসতে পারে।