𝗖𝗿𝗮𝘄𝗹 𝗕𝘂𝗱𝗴𝗲𝘁 𝗥𝗲𝗰𝗹𝗮𝗺𝗮𝘁𝗶𝗼𝗻
Google เป็นผู้กำหนดว่าจะไต่ (crawl) URL จำนวนเท่าใดบนเว็บไซต์ของคุณ สิ่งนี้เรียกว่า crawl budget ซึ่งประกอบด้วยสองส่วนคือ crawl capacity (ขีดความสามารถในการไต่) และ crawl demand (ความต้องการในการไต่)
Crawl capacity ขึ้นอยู่กับความเร็วของเซิร์ฟเวอร์ของคุณ หากเซิร์ฟเวอร์ของคุณตอบสนองได้รวดเร็ว Google ก็จะไต่ข้อมูลได้มากขึ้น
Crawl demand ขึ้นอยู่กับเนื้อหาของคุณ หากเนื้อหาของคุณมีความสดใหม่และเป็นที่นิยม Google ก็จะต้องการเข้ามาดูบ่อยขึ้น
เว็บไซต์ขนาดเล็กส่วนใหญ่ไม่จำเป็นต้องกังวลเรื่องนี้ หากคุณมีหน้าเว็บน้อยกว่า 10,000 หน้า ให้ไปให้ความสำคัญกับการทำ sitemap ที่ดีแทน
คุณจำเป็นต้องดำเนินการก็ต่อเมื่อ:
- มีหน้าเว็บที่ไม่ซ้ำกัน (unique pages) มากกว่า 1 ล้านหน้า
- มีหน้าเว็บมากกว่า 10,000 หน้าที่มีการเปลี่ยนแปลงทุกวัน
- มี URL จำนวนมากที่ค้างอยู่ในสถานะ "Discovered – currently not indexed" ใน Search Console
การเสีย crawl budget ไปโดยเปล่าประโยชน์มักเกิดจากปัญหาด้านโครงสร้าง ปัญหาที่พบบ่อย ได้แก่:
- การนำทางแบบ Faceted navigation และ URL parameters
- ระบบตัวกรอง (filter chains) หรือปฏิทินที่ทำงานแบบไม่สิ้นสุด
- ข้อผิดพลาด Soft 404
- เนื้อหาซ้ำ (duplicate content) หรือเนื้อหาที่มีคุณภาพต่ำ (thin content)
- การเปลี่ยนเส้นทาง (redirect chains) ที่ยาวเกินไป
- ความเร็วในการตอบสนองของเซิร์ฟเวอร์ที่ช้า
ทำตามขั้นตอนเหล่านี้เพื่อแก้ไข crawl budget ของคุณ:
- รวมหน้าเว็บที่ซ้ำกันและใช้ canonical tags
- ใช้ robots.txt เพื่อบล็อก URL ที่ไม่สำคัญ อย่าใช้ noindex สำหรับเรื่องนี้ เพราะ Google จะต้องไต่หน้าเว็บนั้นก่อนจึงจะเห็นแท็ก noindex ซึ่งนั่นยังคงเป็นการสิ้นเปลือง budget อยู่ดี
- ส่งสถานะรหัส 404 หรือ 410 สำหรับหน้าที่ถูกลบออกไปแล้ว
- อัปเดต sitemaps ของคุณด้วยวันที่ lastmod ที่ถูกต้อง
- ปรับปรุงความเร็วของเซิร์ฟเวอร์เพื่อเพิ่ม capacity
ผู้เชี่ยวชาญบางคนแนะนำให้ลบเนื้อหาที่มีคุณภาพต่ำออกเพื่อเพิ่มทราฟฟิก ผลการศึกษาหนึ่งพบว่าทราฟฟิกเพิ่มขึ้นถึง 67% หลังจากลบโพสต์เก่าๆ ที่ไม่มีคนเข้าชมออก อย่างไรก็ตาม ควรระมัดระวัง การลบเนื้อหาช่วยปรับปรุงคุณภาพและความชัดเจนของเว็บไซต์ แต่ไม่ใช่เคล็ดลับที่จะรับประกันการเติบโตได้เสมอไป
การเรียกคืน crawl budget คือเรื่องของประสิทธิภาพ มันช่วยให้มั่นใจว่า Google จะพบหน้าเว็บที่ดีที่สุดของคุณได้อย่างรวดเร็ว แต่มันไม่ได้เปลี่ยนอันดับ (rankings) ของคุณโดยตรง
ตรวจสอบ (Audit) เว็บไซต์ของคุณก่อนที่จะลบอะไรทิ้ง การตัดแต่งเนื้อหา (Pruning) ควรทำเพื่อคุณภาพ ไม่ใช่แค่เพื่อให้ตัวเลขดูดี
Source: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g