માર્કેટપ્લેસની SEO ટીમે તેના ઇન્ડેક્સિંગ નિયમમાં ફેરફાર કર્યો કારણ કે એક સાદી “3 થી ઓછા લિસ્ટિંગ = noindex” ની નીતિને કારણે કેટેગરી પેજ Google માંથી અદૃશ્ય થઈ ગયા હતા અને તેને પાછા આવતા અઠવાડિયાઓ લાગ્યા હતા. એક વન-વે “અનલોક” (unlock) રેકોર્ડ ઉમેરીને, જે પેજને noindex થી index માં ખસેડવાની મંજૂરી આપે છે પરંતુ ક્યારેય પાછા નહીં, સાઇટે આ સમસ્યાનો ઉકેલ લાવ્યો.

મૂળ નિયમ કેમ નિષ્ફળ ગયો

ક્લાસિફાઇડ્સ પ્લેટફોર્મ ઘણી બધી કેટેગરી-અને-લોકેશન પેજ જનરેટ કરે છે. જ્યારે કોઈ પેજ પહેલીવાર દેખાય છે, ત્યારે તેમાં ઘણીવાર માત્ર થોડા જ લિસ્ટિંગ હોય છે, તેથી ટીમે નક્કી કર્યું કે જ્યાં સુધી તે ત્રણ આઇટમની લઘુત્તમ મર્યાદા સુધી ન પહોંચે ત્યાં સુધી તેને સર્ચથી છુપાવી દેવું. તર્ક સરળ હતો:

  • < 3 listings → noindex મેટા ટેગ ઉમેરો
  • ≥ 3 listings → ટેગ દૂર કરો (ઇન્ડેક્સિંગની મંજૂરી આપો)

શરૂઆતમાં આનાથી Google ના પરિણામોમાંથી થિન (thin), ઓછી કિંમતવાળા પેજ દૂર રહ્યા. સમસ્યા ત્યારે ઉભી થઈ જ્યારે લિસ્ટિંગ્સની અવધિ પૂરી થઈ ગઈ. એક પેજ જેમાં એક દિવસ પાંચ લિસ્ટિંગ હતા, તે બીજા દિવસે બે પર આવી શકે છે, જેનાથી તે તરત જ ફરીથી noindex થઈ જાય છે. Google એ આનું પાલન કર્યું, URL ને તેના ઇન્ડેક્સમાંથી દૂર કરી દીધું, અને પેજે બનાવેલું તમામ રેન્કિંગ ગુમાવ્યું. જ્યારે નવું લિસ્ટિંગ આવ્યું, ત્યારે પેજ ફરીથી ઇન્ડેક્સ કરી શકાય તેવું બન્યું, પરંતુ ફરીથી ઇન્ડેક્સ થવાની પ્રક્રિયામાં અઠવાડિયા લાગ્યા.

પરિણામ એક સતત “ઓન-ઓફ” ચક્ર હતું: પેજ ઇન્ડેક્સમાં પ્રવેશતા, અદૃશ્ય થતા, ફરીથી પ્રવેશતા, વગેરે.

વન-વે “અનલોક” ફિક્સ

મુખ્ય ખામી એ હતી કે નિયમમાં કોઈ મેમરી નહોતી; તે દરેક રિક્વેસ્ટ પર થ્રેશોલ્ડ (threshold) ફરીથી ગણતરી કરતો હતો. ટીમે એક નાનું ડેટાબેઝ ટેબલ—seo_unlocks—પરિચયિત કર્યું જે રેકોર્ડ કરે છે કે પેજ ક્યારે પહેલીવાર ત્રણ લિસ્ટિંગની મર્યાદા સુધી પહોંચ્યું છે. નવો વર્કફ્લો આ મુજબ છે:

  1. લિસ્ટિંગની સંખ્યા તપાસો. જો પેજ પર ત્રણ અથવા વધુ સક્રિય લિસ્ટિંગ હોય, તો આગળ વધો.
  2. અનલોક રો (row) લખો. seo_unlocks માં તે પેજ માટે એક રેકોર્ડ દાખલ કરો.
  3. પેજને કાયમી ધોરણે ઇન્ડેક્સ કરી શકાય તેવું માનો. જો પછીથી સંખ્યા ત્રણથી ઓછી થઈ જાય તો પણ, અનલોક રોની હાજરી પેજને noindex પ્રવાહમાંથી બહાર રાખે છે.

કારણ કે અનલોક માત્ર એક જ વાર લખી શકાય છે, તેથી પેજ “noindex” થી “index” માં જઈ શકે છે પરંતુ ક્યારેય પાછું નહીં. ટીમે સુરક્ષાના પગલાં ઉમેર્યા જેથી ફિલ્ટર કરેલા URL (દા.ત., પ્રાઇસ રેન્જ સાથેના સર્ચ રિઝલ્ટ) તેમની પેરેન્ટ કેટેગરી માટે અનલોક બનાવી શકતા નથી, અને ડેટાબેઝની નિષ્ફળતાને કારણે આખી સાઇટ ક્રેશ ન થાય તે માટે ડેટાબેઝ કોલને try/catch બ્લોકમાં રાખ્યો.

ક્રોલ બજેટ (crawl budget) અને થિન પેજ માટે આનો અર્થ શું છે

એક સામાન્ય ભ્રમ એ છે કે noindex ક્રોલ બજેટ બચાવે છે. Google એ પેજ ફેચ કરવું, ટેગ વાંચવું અને પછી તેને ઇન્ડેક્સમાંથી દૂર કરવું જ પડે છે. જો ધ્યેય Google ને આખા URL પેટર્નને રિક્વેસ્ટ કરતા રોકવાનો હોય, તો સાચું સાધન robots.txt છે. noindex નો ઉપયોગ ત્યારે જ કરો જ્યારે તમે ઈચ્છતા હોવ કે Google પેજ જુએ પરંતુ તેને સર્ચ પરિણામોમાં ન બતાવે.

ડિરેક્ટરીઝ, જોબ બોર્ડ્સ અને માર્કેટપ્લેસ જેઓ મોટી સંખ્યામાં ઓટો-જનરેટેડ પેજ પર આધારિત છે, તેમના માટે પાઠ સ્પષ્ટ છે: થિન-પેજ નિયમોને એવા પરસિસ્ટન્સ લેયર (persistence layer) સાથે જોડવા જોઈએ જે યાદ રાખે કે પેજ ઇન્ડેક્સમાં સ્થાન મેળવી ચૂક્યું છે. તે મેમરી વગર, સામગ્રીમાં કામચલાઉ ઘટાડો પેજ દ્વારા બનાવેલા રેન્કિંગને ગુમાવી શકે છે, અને ફરીથી ઇન્ડેક્સ થવામાં અઠવાડિયા લાગી શકે છે.

મુખ્ય વાત (Takeaway)

ડાયનેમિક લિસ્ટિંગ સાઇટ્સ માટે સ્ટેટિક “જો count < 3 તો noindex” નિયમ SEO માં અસ્થિરતા પેદા કરે છે. વન-વે અનલોક રેકોર્ડ ઉમેરવાથી નિયમને મેમરી મળે છે, જે પેજને લિસ્ટિંગમાં ફેરફાર થાય ત્યારે પણ તેમનું ઇન્ડેક્સ સ્ટેટસ જાળવી રાખવાની મંજૂરી આપે છે. સાચા ક્રોલ-બજેટ બચાવ માટે તેને robots.txt ના યોગ્ય ઉપયોગ સાથે જોડો, અને તમે રેન્કિંગ તેમજ સર્વર રિસોર્સિસ બંનેનું રક્ષણ કરી શકો છો.