تیم SEO این بازار، قوانین ایندکس خود را بازنویسی کرد؛ زیرا سیاست سادهی «کمتر از ۳ آگهی = noindex» باعث شده بود صفحات دستهبندی از گوگل ناپدید شوند و بازگشت آنها هفتهها طول بکشد. با افزودن یک رکورد «بازگشایی» (unlock) یکطرفه که اجازه میدهد یک صفحه از حالت noindex به index تغییر وضعیت دهد اما هرگز برنگردد، سایت از این نوسان جلوگیری کرد.
چرا قانون اصلی نتیجه معکوس داشت
این پلتفرم نیازمندیها (classifieds)، صفحات زیادی بر اساس دستهبندی و مکان تولید میکند. وقتی یک صفحه برای اولین بار ظاهر میشود، اغلب تنها تعداد کمی آگهی دارد، بنابراین تیم تصمیم گرفت آن را تا زمانی که به حداقل آستانهی سه مورد برسد، از جستجو پنهان کند. منطق کار ساده بود:
- کمتر از ۳ آگهی ← افزودن تگ متای
noindex - ۳ آگهی یا بیشتر ← حذف تگ (اجازه ایندکس شدن)
در ابتدا، این کار باعث میشد صفحات کممحتوا (thin) و کمارزش از نتایج گوگل حذف شوند. اما مشکل زمانی بروز کرد که مهلت آگهیها تمام میشد. صفحهای که یک روز دارای پنج آگهی بود، ممکن بود روز بعد به دو آگهی کاهش یابد و بلافاصله به حالت noindex بازگردد. گوگل این دستور را اجرا میکرد، URL را از ایندکس خود حذف میکرد و صفحه هر رتبهای را که کسب کرده بود از دست میداد. وقتی آگهی جدیدی میآمد، صفحه دوباره قابل ایندکس شدن میشد، اما فرآیند ورود مجدد به گوگل هفتهها طول میکشید.
نتیجه، یک چرخهی مداوم «روشن-خاموش» بود: صفحات وارد ایندکس میشدند، ناپدید میشدند، دوباره وارد میشدند و همینطور ادامه داشت.
راهکار «بازگشایی» یکطرفه
نقص اصلی این بود که قانون هیچ حافظهای نداشت؛ یعنی در هر درخواست، آستانه را دوباره محاسبه میکرد. تیم یک جدول کوچک در پایگاه داده به نام seo_unlocks معرفی کرد که ثبت میکند یک صفحه اولین بار چه زمانی به حد نصاب سه آگهی رسیده است. گردش کار جدید به این صورت است:
- بررسی تعداد آگهیها. اگر صفحه سه آگهی فعال یا بیشتر دارد، ادامه دهید.
- ثبت ردیف بازگشایی. یک رکورد برای آن صفحه در
seo_unlocksدرج کنید. - در نظر گرفتن صفحه به عنوان همیشه قابل ایندکس. حتی اگر تعداد آگهیها بعداً به کمتر از سه برسد، وجود ردیف بازگشایی باعث میشود صفحه از جریان
noindexخارج بماند.
از آنجایی که عملیات بازگشایی (unlock) فقط یک بار قابل ثبت است، یک صفحه میتواند از حالت «noindex» به «index» تغییر وضعیت دهد اما هرگز برنگردد. تیم از اقدامات حفاظتی استفاده کرد تا URLهای فیلتر شده (مثلاً نتایج جستجو با بازه قیمتی خاص) نتوانند برای دستهبندیهای اصلی خود رکورد بازگشایی ایجاد کنند، و فراخوانی پایگاه داده را در یک بلوک try/catch قرار داد تا از خرابی کل سایت در صورت بروز خطا در دیتابیس جلوگیری کند.
این موضوع چه معنایی برای بودجه خزش و صفحات کممحتوا دارد
یک باور اشتباه رایج این است که noindex باعث صرفهجویی در بودجه خزش (crawl budget) میشود. گوگل همچنان باید صفحه را فراخوانی کند، تگ را بخواند و سپس آن را از ایندکس حذف کند. اگر هدف این است که از درخواست گوگل برای یک الگوی URL کامل جلوگیری کنید، ابزار صحیح robots.txt است. تنها زمانی از noindex استفاده کنید که میخواهید گوگل صفحه را ببیند اما آن را در نتایج جستجو نمایش ندهد.
برای دایرکتوریها، سایتهای کاریابی و بازارهای آنلاین که به تعداد زیادی صفحات خودکار تولید شده متکی هستند، درس واضح است: قوانین مربوط به صفحات کممحتوا باید با یک لایه ماندگاری (persistence layer) همراه باشند که به یاد داشته باشد یک صفحه چه زمانی جایگاه خود را در ایندکس به دست آورده است. بدون این حافظه، افت موقت محتوا میتواند باعث شود یک صفحه رتبهای را که کسب کرده بود از دست بدهد و ورود مجدد به گوگل هفتهها طول بکشد.
نتیجهگیری
یک قانون ایستا مثل «اگر تعداد < ۳ بود، پس noindex» باعث بیثباتی SEO در سایتهای آگهی پویا میشود. افزودن یک رکورد بازگشایی یکطرفه به این قانون حافظه میدهد و به صفحات اجازه میدهد حتی در زمان نوسان تعداد آگهیها، وضعیت ایندکس خود را کسب کرده و حفظ کنند. این کار را با استفاده صحیح از robots.txt برای صرفهجویی واقعی در بودجه خزش ترکیب کنید تا بتوانید هم از رتبهها و هم از منابع سرور محافظت کنید.