5,000-SKU ધરાવતા એક ઇન્ડસ્ટ્રિયલ-ટૂલ કેટલોગના ઓડિટમાં જાણવા મળ્યું કે Googlebot દિવસમાં ત્રણ વાર સાઇટના ફિલ્ટર URL ને ક્રોલ (crawl) કરે છે, જ્યારે મુખ્ય કેટેગરી પેજ દર ત્રણ અઠવાડિયે માત્ર એક જ વાર મુલાકાત લેવામાં આવે છે. તેનું પરિણામ? નવા ઉત્પાદનો સર્ચ રિઝલ્ટમાં દેખાતા એક મહિનો લાગતો હતો કારણ કે ક્રોલર ઓછા મૂલ્ય ધરાવતા URL માં અટકી જતું હતું.
ફેસેટેડ સર્ચ (faceted search) ક્રોલ બજેટને કેવી રીતે નુકસાન પહોંચાડે છે
ફેસેટેડ સર્ચ ખરીદદારોને મટિરિયલ, સાઈઝ, કોટિંગ અને અન્ય ગુણધર્મો દ્વારા પરિણામોને ફિલ્ટર કરવામાં મદદ કરે છે. દરેક ફેસેટ URL માં એક પેરામીટર ઉમેરે છે, અને પાંચ પરિમાણો (dimensions) સાથે સંભવિત સંયોજનો હજારો યુનિક પેજમાં ફેલાઈ જાય છે. તેમાંથી મોટાભાગના પેજમાં લગભગ સમાન પ્રોડક્ટ લિસ્ટ હોય છે, છતાં Google દરેકને અલગ URL તરીકે ગણે છે. કારણ કે Google નું ક્રોલ બજેટ – જે સાઇટ પર તે દરરોજ કેટલા પેજ મેળવશે તેની સંખ્યા છે – મર્યાદિત હોય છે, તેથી તે એવા URL પર કિંમતી સ્લોટ્સ ખર્ચ કરે છે જે વપરાશકર્તાઓ અથવા સર્ચ માટે બહુ ઓછું મૂલ્ય ઉમેરે છે.
સાઇટનું URL સ્ટ્રક્ચર બોટને “ક્રોલ ટ્રેપ” (crawl trap) માં ખેંચી જાય છે જ્યાં તે અનંતકાળ સુધી એવા લિંક્સને ફોલો કરે છે જે લગભગ ડુપ્લીકેટ પેજ તરફ દોરી જાય છે.
શું જોખમમાં છે
- ઇન્ડેક્સિંગ સ્પીડ (Indexing speed) – શોધવામાં વિલંબ થવાનો અર્થ એ છે કે નવો સ્ટોક અઠવાડિયા સુધી અદ્રશ્ય રહે છે, જેનાથી વેચાણને નુકસાન થાય છે.
- સર્ચ વિઝિબિલિટી (Search visibility) – જો Google તેના બજેટનો ઉપયોગ ફિલ્ટર પેજ પર કરે છે, તો હાઈ-પ્રાયોરિટી પ્રોડક્ટ પેજ ક્યારેય ક્રોલ ન પણ થાય, જેનાથી તેમના રેન્ક થવાની તક મર્યાદિત થઈ જાય છે.
ક્રોલ બજેટ પાછું મેળવવા માટે સ્ટેપ-બાય-સ્ટેપ માર્ગદર્શિકા
હાઈ-વેલ્યુ ફેસેટ્સ (high-value facets) ઓળખો
એવા ફિલ્ટર કોમ્બિનેશન શોધો જે ખરેખર સર્ચ ટ્રાફિક જનરેટ કરે છે. તે URL ને ક્લીન અને વર્ણનાત્મક પાથ આપો (દા.ત.,/end-mill/coating-tialn/). હાઈ-વેલ્યુ પેજને સંપૂર્ણ રીતે ક્રોલ કરી શકાય તેવા અને ઇન્ડેક્સ કરી શકાય તેવા રાખો.મીડિયમ-વેલ્યુ ફેસેટ્સ માટે કેનોનિકલ ટેગ્સ (canonical tags) નો ઉપયોગ કરો
જ્યારે કોઈ ફિલ્ટર ઉપયોગી હોય પરંતુ તેના પર સર્ચ વોલ્યુમ ઓછું હોય, ત્યારે URL ને એક્સેસિબલ રહેવા દો પરંતુ મુખ્ય કેટેગરી પેજ તરફ નિર્દેશ કરતોrel=canonicalઉમેરો. આ Google ને જણાવે છે કે કેટેગરી એ પસંદગીનું વર્ઝન છે.robots.txt દ્વારા લો-વેલ્યુ ફેસેટ્સને બ્લોક કરો
robots.txtમાં તે પેટર્નને Disallow કરો જેથી Googlebot તેને ક્યારેય રિક્વેસ્ટ ન કરે.એડવાન્સ્ડ ફિલ્ટર્સને લિંક્સને બદલે બટન્સ તરીકે રજૂ કરો
બોટ્સ<a>એલિમેન્ટ્સને ફોલો કરે છે પરંતુ“noindex” ટ્રેપથી બચો
30,000 ફિલ્ટર URL માંnoindexઉમેરવાથી પણ Google ને પહેલા દરેક પેજ ડાઉનલોડ કરવા માટે મજબૂર કરવામાં આવે છે, અને પછી તેને અવગણવા માટેની સૂચના વાંચવી પડે છે. ક્રોલિંગ સંપૂર્ણપણે રોકવા માટેrobots.txtનો ઉપયોગ કરો; ફક્ત તમે ઇન્ડેક્સ કરવા માંગતા હોવ તેવા પેજ જ ઉપલબ્ધ હોવા જોઈએ.
સફળતાનું માપન
ફોકસ રેન્કિંગથી બદલીને ઇન્ડેક્સિંગ સ્પીડ પર લાવો. ફેરફારો કરતા પહેલા અને પછી નવું ઉમેરેલું ઉત્પાદન Google ના ઇન્ડેક્સમાં દેખાતા કેટલો સમય લાગે છે તેનો ટ્રેક રાખો. 21 દિવસના વિલંબથી 3 દિવસના વિલંબ પર આવવું એ દર્શાવે છે કે વ્યૂહરચના કામ કરી રહી છે.
કાઉન્ટર-પોઈન્ટ: ઉપયોગિતા વિરુદ્ધ ક્રોલ કાર્યક્ષમતા (usability versus crawl efficiency)
UI ને અકબંધ રાખો—બટન્સ હજુ પણ વપરાશકર્તાઓને પરિણામોને રિફાઇન કરવા દે છે—જ્યારે અન્ડરલાઇંગ URL ને ક્રોલર માટે અદ્રશ્ય રાખો. જો કોઈ ચોક્કસ ફિલ્ટર નેવિગેશન માટે આવશ્યક સાબિત થાય છે, તો તેને હાઈ-વેલ્યુ ફેસેટ તરીકે પ્રમોટ કરો અને તેને ક્લીન, ક્રોલ કરી શકાય તેવું URL આપો.
આગળ શું જોવું
- Search Console crawl stats – “Requests blocked by robots.txt” માં ઘટાડો અને પ્રોડક્ટ પેજ માટે “Crawl depth” માં વધારો જોવા માટે “Crawl Stats” રિપોર્ટનું મોનિટરિંગ કરો.
મુખ્ય વાત (Takeaway): ફેસેટ્સનું વર્ગીકરણ કરો, કેનોનિકલ ટેગ્સનો ઉપયોગ કરો, લો-વેલ્યુ URL ને બ્લોક કરો અને લિંક્સને બદલે બટન્સનો ઉપયોગ કરો. મોટા ઈ-કોમર્સ સાઇટ્સ Googlebot ને મહત્વના પેજ તરફ વાળી શકે છે, જેનાથી ગ્રાહકની સુવિધા સાથે બાંધછોડ કર્યા વિના ઇન્ડેક્સિંગ સમય અઠવાડિયાથી ઘટાડીને દિવસોમાં લાવી શકાય છે.