𝗖𝗿𝗮𝘄𝗹 𝗕𝘂𝗱𝗴𝗲𝘁 𝗥𝗲𝗰𝗹𝗮𝗺𝗮𝘁𝗶𝗼𝗻
Google નક્કી કરે છે કે તે તમારી સાઇટ પર કેટલા URL ક્રોલ કરશે. આ તમારું ક્રોલ બજેટ છે. તે બે ભાગોનું બનેલું છે: ક્રોલ કેપેસિટી (crawl capacity) અને ક્રોલ ડિમાન્ડ (crawl demand).
ક્રોલ કેપેસિટી તમારા સર્વરની ઝડપ પર આધાર રાખે છે. જો તમારું સર્વર ઝડપથી પ્રતિસાદ આપે છે, તો Google વધુ ક્રોલ કરશે.
ક્રોલ ડિમાન્ડ તમારા કન્ટેન્ટ પર આધાર રાખે છે. જો તમારું કન્ટેન્ટ તાજું અને લોકપ્રિય રહે છે, તો Google તેને વારંવાર જોવા માંગશે.
મોટાભાગની નાની સાઇટ્સ માટે આની ચિંતા કરવાની જરૂર નથી. જો તમારી પાસે 10,000 થી ઓછા પેજ હોય, તો તેના બદલે સારા સાઇટમેપ (sitemap) પર ધ્યાન કેન્દ્રિત કરો.
તમારે ફક્ત ત્યારે જ પગલાં લેવાની જરૂર છે જો તમારી પાસે હોય:
- 1 મિલિયનથી વધુ યુનિક પેજ.
- દરરોજ બદલાતા 10,000 થી વધુ પેજ.
- Search Console માં ઘણા URL "Discovered – currently not indexed" તરીકે અટવાયેલા હોય.
બિનઉપયોગી ક્રોલ બજેટ સામાન્ય રીતે સ્ટ્રક્ચરલ સમસ્યાઓ (structural issues) ને કારણે આવે છે. સામાન્ય સમસ્યાઓમાં શામેલ છે:
- Faceted navigation અને URL parameters.
- અનંત ફિલ્ટર ચેઈન અથવા કેલેન્ડર.
- Soft 404 એરર્સ.
- ડુપ્લીકેટ અથવા થિન (thin) કન્ટેન્ટ.
- લાંબી રીડાયરેક્ટ ચેઈન.
- સર્વરના ધીમા પ્રતિસાદ સમય.
તમારા ક્રોલ બજેટને ઠીક કરવા માટે આ પગલાં અનુસરો:
- ડુપ્લીકેટ પેજને મર્જ કરો અને canonical tags નો ઉપયોગ કરો.
- બિનજરૂરી URL ને બ્લોક કરવા માટે robots.txt નો ઉપયોગ કરો. આ માટે noindex નો ઉપયોગ કરશો નહીં. Google એ noindex ટેગ જોવા માટે પેજને ક્રોલ કરવું જ પડે છે, જે બજેટનો બગાડ કરે છે.
- દૂર કરેલા પેજ માટે 404 અથવા 410 સ્ટેટસ કોડ્સ આપો.
- તમારા સાઇટમેપને સાચી lastmod તારીખો સાથે અપડેટ કરો.
- કેપેસિટી વધારવા માટે તમારા સર્વરની ઝડપ સુધારો.
કેટલાક નિષ્ણાતો ટ્રાફિક વધારવા માટે ઓછી ગુણવત્તાવાળું કન્ટેન્ટ ડિલીટ કરવાનું સૂચવે છે. એક અભ્યાસમાં જૂની, શૂન્ય ટ્રાફિક ધરાવતી પોસ્ટ્સ ડિલીટ કર્યા પછી 67% નો વધારો જોવા મળ્યો હતો. સાવધ રહો. કન્ટેન્ટ ડિલીટ કરવાથી સાઇટની ગુણવત્તા અને ફોકસ સુધરે છે, પરંતુ તે વૃદ્ધિની કોઈ ગેરંટી આપતી ટ્રિક નથી.
ક્રોલ બજેટ રિક્લેમેશન એ કાર્યક્ષમતા (efficiency) વિશે છે. તે સુનિશ્ચિત કરે છે કે Google તમારા શ્રેષ્ઠ પેજ ઝડપથી શોધી લે. તે સીધી રીતે તમારી રેન્કિંગમાં ફેરફાર કરતું નથી.
કંઈપણ ડિલીટ કરતા પહેલા તમારી સાઇટનું ઓડિટ કરો. માત્ર આંકડા પૂરા કરવા માટે નહીં, પણ ગુણવત્તા માટે કન્ટેન્ટ ઘટાડો (prune).
સ્ત્રોત: https://dev.to/mrtd/crawl-budget-reclamation-what-it-is-who-needs-it-and-the-pruning-playbook-139g