5,000-SKU கொண்ட ஒரு தொழில்துறை கருவிப் பட்டியலின் (industrial-tool catalog) தணிக்கையில், முக்கியப் பிரிவுப் பக்கங்கள் (main category pages) மூன்று வாரங்களுக்கு ஒருமுறை மட்டுமே பார்வையிடப்படும் நிலையில், Googlebot அந்தத் தளத்தின் வடிகட்டி URL-களை (filter URLs) ஒரு நாளைக்கு மூன்று முறை க்ரால் (crawl) செய்வதைக் கண்டறியப்பட்டது. இதன் விளைவு? புதிய தயாரிப்புகள் தேடல் முடிவுகளில் தோன்றுவதற்கு ஒரு மாதம் ஆனது, ஏனெனில் க்ராலர் (crawler) குறைந்த மதிப்புள்ள URL-களில் சிக்கிக்கொண்டது.

ஃபேசெட்டட் தேடல் என்பது வாடிக்கையாளர்கள் பொருள் (material), அளவு (size), பூச்சு (coating) மற்றும் பிற பண்புகளின் அடிப்படையில் முடிவுகளைத் துல்லியமாக்க அனுமதிக்கிறது. ஒவ்வொரு ஃபேசெட்டும் (facet) URL-இல் ஒரு அளவுருவை (parameter) சேர்க்கிறது, மேலும் ஐந்து பரிமாணங்கள் இருக்கும்போது, சாத்தியமான சேர்க்கைகள் பல்லாயிரக்கணக்கான தனித்துவமான பக்கங்களாகப் பெருகுகின்றன. அந்தப் பக்கங்களில் பெரும்பாலானவை கிட்டத்தட்ட ஒரே தயாரிப்புப் பட்டியலையே கொண்டுள்ளன, இருப்பினும் Google ஒவ்வொன்றையும் ஒரு தனி URL ஆகக் கருதுகிறது. Google-இன் கிரால் பட்ஜெட் (அதாவது ஒரு தளத்தில் ஒவ்வொரு நாளும் அது சேகரிக்கும் பக்கங்களின் எண்ணிக்கை) வரையறுக்கப்பட்டிருப்பதால், பயனர்களுக்கோ அல்லது தேடலுக்கோ மிகக் குறைந்த மதிப்பைக் கொடுக்கும் URL-களுக்காக அது தனது விலைமதிப்பற்ற வாய்ப்புகளைச் செலவிடுகிறது.

தளத்தின் URL அமைப்பு, கிட்டத்தட்ட நகல் போன்ற பக்கங்களுக்கு இட்டுச் செல்லும் இணைப்புகளை (links) க்ராலர் முடிவில்லாமல் பின்பற்றும் ஒரு "கிரால் டிராப்" (crawl trap) சூழலுக்கு அந்த பாட்டை (bot) அழைக்கிறது.

இதில் உள்ள ஆபத்துகள்

  • இன்டெக்ஸிங் வேகம் (Indexing speed) – கண்டறிவதில் ஏற்படும் தாமதம் என்பது புதிய கையிருப்புகள் (inventory) வாரக்கணக்கில் கண்ணுக்குத் தெரியாமல் இருப்பதை意味着, இது விற்பனையைப் பாதிக்கிறது.
  • தேடல் தெரிவுத்திறன் (Search visibility) – Google தனது பட்ஜெட்டை வடிகட்டிப் பக்கங்களில் செலவிட்டால், முன்னுரிமை வாய்ந்த தயாரிப்புப் பக்கங்கள் ஒருபோதும் க்ரால் செய்யப்படாமல் போகலாம், இது அவற்றின் தரவரிசை (rank) வாய்ப்பைக் குறைக்கிறது.

கிரால் பட்ஜெட்டை மீட்டெடுக்க ஒரு படிப்படியான வழிகாட்டி

  1. அதிக மதிப்புள்ள ஃபேசெட்டுகளைக் கண்டறியவும் (Identify high-value facets)
    உண்மையான தேடல் போக்குவரத்தை (search traffic) உருவாக்கும் வடிகட்டி சேர்க்கைகளைக் கண்டறியவும். அந்த URL-களுக்குத் தெளிவான, விளக்கமான பாதையை (path) வழங்கவும் (உதாரணமாக, /end-mill/coating-tialn/). அதிக மதிப்புள்ள பக்கங்களை முழுமையாக க்ரால் செய்யக்கூடியதாகவும் (crawlable) இன்டெக்ஸ் செய்யக்கூடியதாகவும் (indexable) வைத்திருக்கவும்.

  2. நடுத்தர மதிப்புள்ள ஃபேசெட்டுகளை கனோனிக்கல் டேக்ஸ் (canonical tags) மூலம் கையாளவும்
    ஒரு வடிகட்டி பயனுள்ளதாக இருந்து, ஆனால் குறைந்த தேடல் அளவை ஈர்க்கும்போது, அந்த URL-ஐ அணுகக்கூடியதாக விடவும், ஆனால் முக்கியப் பிரிவுப் பக்கத்தைக் குறிக்கும் வகையில் ஒரு rel=canonical டேக்கைச் சேர்க்கவும். இது அந்தப் பிரிவுதான் (category) முன்னுரிமை வாய்ந்த பதிப்பு என்று Google-இடம் கூறுகிறது.

  3. robots.txt மூலம் குறைந்த மதிப்புள்ள ஃபேசெட்டுகளைத் தடுக்கவும்
    robots.txt-இல் அந்தப் பாட்டர்ன்களை (patterns) 'Disallow' செய்யவும், இதனால் Googlebot அவற்றை ஒருபோதும் கோராது (request).

  4. மேம்பட்ட வடிகட்டிகளை இணைப்புகளாக (links) அல்லாமல் பட்டன்களாக (buttons) மாற்றவும்
    பாட்கள் (Bots) <a> கூறுகளைப் பின்பற்றும் ஆனால் <button> கூறுகளைப் புறக்கணிக்கும். புதிய URL-களை உருவாக்காமல், ஜாவாஸ்கிரிப்டைத் (JavaScript) தூண்டும் பட்டன்களாக வடிகட்டி கட்டுப்பாடுகளை வழங்கவும். பயனர்கள் அவர்களுக்குத் தேவையான UI-ஐப் பெறுவார்கள், அதே நேரத்தில் க்ராலரால் பயனற்ற URL-களைக் கண்டறிய முடியாது.

  5. "noindex" பொறியைத் தவிர்க்கவும்
    30,000 வடிகட்டி URL-களுக்கு noindex சேர்ப்பது கூட, Google முதலில் ஒவ்வொரு பக்கத்தையும் பதிவிறக்கம் செய்ய வேண்டும், பின்னர் அதைத் தவிர்க்கும் உத்தரவை (directive) படிக்க வேண்டும் என்று கட்டாயப்படுத்துகிறது. க்ராலிங்கை முழுமையாக நிறுத்த robots.txt-ஐப் பயன்படுத்தவும்; நீங்கள் இன்டெக்ஸ் செய்ய விரும்பும் பக்கங்கள் மட்டுமே சென்றடையக்கூடியதாக இருக்க வேண்டும்.

வெற்றியை அளவிடுதல்

கவனத்தை தரவரிசையிலிருந்து (rankings) இன்டெக்ஸிங் வேகத்திற்கு மாற்றவும். மாற்றங்களுக்கு முன்னும் பின்னும், புதிதாகச் சேர்க்கப்பட்ட ஒரு தயாரிப்பு Google இன்டெக்ஸில் தோன்றுவதற்கு எவ்வளவு காலம் எடுத்துக் கொள்கிறது என்பதைக் கண்காணிக்கவும். 21 நாள் தாமதத்திலிருந்து 3 நாள் தாமதமாக மாறுவது, இந்த உத்தி வேலை செய்கிறது என்பதைக் காட்டுகிறது.

முரண்பட்ட கருத்து: பயன்பாட்டுத்திறன் (usability) बनाम க்ரால் செயல்திறன் (crawl efficiency)

பயனர் இடைமுகத்தை (UI) அப்படியே வைத்திருக்கவும்—பட்டன்கள் பயனர்களை முடிவுகளைத் துல்லியமாக்க அனுமதிக்கின்றன—அதே நேரத்தில் அடிப்படையான URL-களை க்ராலருக்குத் தெரியாமல் வைத்திருக்கவும். ஒரு குறிப்பிட்ட வடிகட்டி வழிசெலுத்தலுக்கு (navigation) அவசியமானது என்று நிரூபிக்கப்பட்டால், அதை ஒரு அதிக மதிப்புள்ள ஃபேசெட்டாக உயர்த்தி, அதற்குத் தெளிவான, க்ரால் செய்யக்கூடிய URL-ஐ வழங்கவும்.

அடுத்து எதைக் கவனிக்க வேண்டும்

  • Search Console க்ரால் புள்ளிவிவரங்கள் (crawl stats) – "Requests blocked by robots.txt" குறைவதையும், தயாரிப்புப் பக்கங்களுக்கான "Crawl depth" அதிகரிப்பதையும் "Crawl Stats" அறிக்கையில் கண்காணிக்கவும்.

சுருக்கம்: ஃபேசெட்டுகளை வகைப்படுத்தவும், கனோனிக்கல் டேக்குகளைப் பயன்படுத்தவும், குறைந்த மதிப்புள்ள URL-களைத் தடுக்கவும் மற்றும் இணைப்புகளுக்குப் பதிலாக பட்டன்களைப் பயன்படுத்தவும். பெரிய இ-காமர்ஸ் தளங்கள் Googlebot-ஐ முக்கியமான பக்கங்களை நோக்கித் திருப்ப முடியும், இதன் மூலம் பயனர் செயல்பாடுகளைத் தியாகம் செய்யாமல் இன்டெக்ஸிங் நேரத்தை வாரங்களிலிருந்து நாட்களாகக் குறைக்க முடியும்.