𝗖𝗿𝗮𝘄𝗹 𝗕𝘂𝗱𝗴𝗲𝘁 𝗥𝗲𝗰𝗹𝗮𝗺𝗮𝘁𝗶𝗼𝗻 (کرال بجٹ کی بحالی)
گوگل یہ فیصلہ کرتا ہے کہ وہ آپ کی سائٹ پر کتنے یو آر ایل (URLs) کرال کرے گا۔ اسے آپ کا کرال بجٹ کہا جاتا ہے۔ اس کے دو حصے ہیں: کرال کی صلاحیت (crawl capacity) اور کرال کی طلب (crawl demand)۔
کرال کی صلاحیت آپ کے سرور کی رفتار پر منحصر ہے۔ اگر آپ کا سرور تیزی سے جواب دیتا ہے، تو گوگل زیادہ کرال کرتا ہے۔
کرال کی طلب آپ کے مواد (content) پر منحصر ہے۔ اگر آپ کا مواد تازہ اور مقبول رہتا ہے، تو گوگل اسے بار بار دیکھنا چاہتا ہے۔
زیادہ تر چھوٹی سائٹس کو اس بارے میں پریشان ہونے کی ضرورت نہیں ہے۔ اگر آپ کے پاس 10,000 سے کم صفحات ہیں، تو اس کے بجائے ایک اچھے سائٹ میپ (sitemap) پر توجہ دیں۔
آپ کو صرف اس صورت میں کارروائی کرنے کی ضرورت ہے اگر آپ کے پاس:
- 1 ملین سے زیادہ منفرد صفحات ہوں۔
- 10,000 سے زیادہ ایسے صفحات ہوں جو روزانہ تبدیل ہوتے ہوں۔
- سرچ کنسول (Search Console) میں بہت سے یو آر ایل "Discovered – currently not indexed" کے طور پر پھنسے ہوئے ہوں۔
ضائع ہونے والا کرال بجٹ عام طور پر ساختی مسائل (structural issues) کی وجہ سے ہوتا ہے۔ عام مسائل میں شامل ہیں:
- فیسٹڈ نیویگیشن (Faceted navigation) اور یو آر ایل پیرامیٹرز (URL parameters)۔
- لامتناہی فلٹر چینز یا کیلنڈرز۔
- سافٹ 404 (Soft 404) ایررز۔
- ڈپلیکیٹ یا کمزور (thin) مواد۔
- ری ڈائریکٹ کی لمبی زنجیریں (Long redirect chains)۔
- سرور کے جواب دینے میں سست رفتاری۔
اپنے کرال بجٹ کو ٹھیک کرنے کے لیے ان اقدامات پر عمل کریں:
- ڈپلیکیٹ صفحات کو ضم کریں اور کینونیکل ٹیگز (canonical tags) کا استعمال کریں۔
- غیر اہم یو آر ایل کو بلاک کرنے کے لیے robots.txt کا استعمال کریں۔ اس کے لیے noindex کا استعمال نہ کریں۔ گوگل کو noindex ٹیگ دیکھنے کے لیے صفحہ کرال کرنا پڑتا ہے، جس سے بجٹ ضائع ہوتا ہے۔
- ہٹائے گئے صفحات کے لیے 404 یا 410 اسٹیٹس کوڈز (status codes) واپس کریں۔
- اپنے سائٹ میپس کو درست lastmod تاریخوں کے ساتھ اپ ڈیٹ کریں۔
- صلاحیت بڑھانے کے لیے اپنے سرور کی رفتار کو بہتر بنائیں۔
کچھ ماہرین ٹریفک بڑھانے کے لیے کم معیار کے مواد کو حذف کرنے کا مشورہ دیتے ہیں۔ ایک تحقیق نے دکھایا کہ پرانی اور زیرو ٹریفک والی پوسٹس حذف کرنے کے بعد 67% اضافہ ہوا۔ محتاط رہیں۔ مواد کو حذف کرنا سائٹ کے معیار اور توجہ کو بہتر بناتا ہے، لیکن یہ ترقی کی کوئی یقینی ترکیب نہیں ہے۔
کرال بجٹ کی بحالی (Crawl budget reclamation) کا مقصد کارکردگی ہے۔ یہ اس بات کو یقینی بناتا ہے کہ گوگل آپ کے بہترین صفحات کو تیزی سے تلاش کر لے۔ یہ براہ راست آپ کی رینکنگ کو تبدیل نہیں کرتا۔
کچھ بھی حذف کرنے سے پہلے اپنی سائٹ کا آڈٹ کریں۔ معیار کے لیے چھانٹی کریں، نہ کہ صرف کسی نمبر تک پہنچنے کے لیے۔
ماخذ: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g