AI உதவியாளர்களால் மேற்கோள் காட்டப்பட விரும்பும் ஒரு இணையதளத்தை நான் உருவாக்கினேன். யூகிக்கத் தொடங்குவதற்குப் பதிலாக, நான் பரவலாகப் பரிந்துரைக்கப்படும் மூன்று சிக்னல்களை நடைமுறைப்படுத்தினேன்: GPT-பாணி crawlers-களை அனுமதிக்கும் ஒரு robots.txt பதிவு, ஒவ்வொரு பக்கத்தையும் பட்டியலிடும் ஒரு llms.txt கோப்பு மற்றும் உள்ளடக்கத்தை விவரிக்கும் JSON-LD schema. ஒவ்வொன்றையும் சோதனை செய்த பிறகு, எச்சரிக்கையின்றி தோல்வியடையக்கூடியது ஒன்று மட்டுமே என்பதையும், மற்றவை பெரும்பாலான மக்கள் கூறுவது போலச் செயல்படுவதில்லை என்பதையும் நான் கண்டறிந்தேன்.

இந்த மூன்று சிக்னல்களும் ஏன் முக்கியம்

AI-ஐ மையமாகக் கொண்ட crawlers-களுக்குத் தெளிவான அனுமதி தேவை என்றும், ஒரு சாதாரண உரை வடிவிலான "llms.txt" குறியீடு பெரிய மொழி மாதிரிகள் (LLMs) பொருத்தமான பகுதிகளைக் கண்டறிய உதவும் என்றும், JSON-LD கட்டமைக்கப்பட்ட தரவு (structured data) மேற்கோள் காட்டப்படுவதற்கான வாய்ப்புகளை அதிகரிக்கும் என்றும் இணையதள உரிமையாளர்களுக்குச் சொல்லப்படுகிறது. இதன் வாக்குறுதி எளிமையானது: இந்த கோப்புகளைச் சேர்த்தால், உங்கள் தளம் AI-ஆல் உருவாக்கப்பட்ட பதில்களில் தோன்றும், இது உங்கள் தளத்திற்குப் போக்குவரத்தையும் (traffic) பிராண்ட் பார்வைத்திறனையும் (brand visibility) வழங்கும்.

1. robots.txt மூலம் AI crawlers-களை அனுமதித்தல்

GPTBot (அல்லது வேறு ஏதேனும் AI bot) பற்றி குறிப்பிடும் robots.txt வரி என்பது ஒரு கோரிக்கை மட்டுமே. ஒரு content delivery network (CDN) அல்லது firewall அந்த bot-ஐத் தடுத்தால், அந்த கோரிக்கை தளத்தை அடையாது, மேலும் crawler அந்தப் கோப்பைத் தொடரவே முடியாது. ஒரு bot உங்களை அணுக முடிகிறதா என்பதைத் தெரிந்துகொள்ள ஒரே நம்பகமான வழி, ஒவ்வொரு முக்கிய bot-க்கும் HTTP status code-ஐச் சரிபார்ப்பதுதான். 403 (forbidden) அல்லது 503 (service unavailable) பதில் கிடைத்தால், மற்ற அனைத்து கட்டமைப்புகளும் பயனற்றவை என்று அர்த்தம்—bot இல்லை என்றால், indexing இல்லை, மேற்கோளும் இல்லை.

2. llms.txt கோப்பு

llms.txt கோப்பு என்பது வெறும் URL-களின் markdown பட்டியல் மட்டுமே. இது LLM-களுக்குத் தளத்தின் தெளிவான வரைபடத்தை வழங்க intended செய்யப்பட்டுள்ளது, இதனால் அவை HTML-ஐ மட்டும் நம்பி வழிசெலுத்தலை (navigation) யூகிக்க வேண்டிய அவசியமில்லை. நடைமுறையில், Google தனது ஆவணங்களில் இந்த கோப்பைப் புறக்கணிப்பதாகக் கூறுகிறது, மேலும் எந்தவொரு முக்கியத் தேடுபொறியும் மேற்கோள் purposes-க்காக இதைப் பயன்படுத்துவதாக உறுதியளிக்கவில்லை. இதை வைத்திருப்பதன் மூலம் செலவு ஏதும் இல்லை, மேலும் தனிப்பயனாக்கப்பட்ட AI agents-களுக்கு இது பயனுள்ளதாக இருக்கலாம், ஆனால் அதிக AI மேற்கோள்களைப் பெறுவதற்கான குறுக்குவழி என்று இதை விளம்பரப்படுத்தக் கூடாது.

3. JSON-LD schema

JSON-LD என்பது கட்டமைக்கப்பட்ட தரவை—ஆசிரியர் பெயர்கள், வெளியீட்டுத் தேதிகள், தயாரிப்பு ஐடிகள் (product IDs)—நேரடியாக ஒரு பக்கத்தில் இணைக்கிறது. schema-வைச் சேர்ப்பதன் மூலம் தங்கள் பக்கங்கள் AI பதில்களில் அடிக்கடி தோன்றும் என்று பல சந்தைப்படுத்துபவர்கள் கருதுகிறார்கள், ஆனால் 1,885 பக்கங்களைக் கொண்ட ஒரு ஆய்வில், schema markup மூலம் மேற்கோள்கள் அதிகரிப்பதில் எந்த அளவிடக்கூடிய முன்னேற்றமும் காணப்படவில்லை. JSON-LD-ன் உண்மையான மதிப்பு entity resolution-இல் உள்ளது: இது ஒரு பக்கத்தில் உள்ள "Jane Doe" என்பவரே மற்றொரு பக்கத்தில் உள்ள அதே "Jane Doe" தான் என்பதை இயந்திரத்திற்குத் தெரிவிக்கிறது, இதன் மூலம் ஒரே மாதிரியான பெயரைக் கொண்ட நபர்கள் அல்லது தயாரிப்புகளுக்கு இடையிலான குழப்பத்தைத் தவிர்க்கிறது.

உண்மையான தடையானது: indexing

இந்த மூன்று சிக்னல்களுமே அடிப்படை கட்டமைப்புகள் (plumbing); பக்கம் முதலில் index செய்யப்பட்டால் மட்டுமே இவை வேலை செய்யும். ஒரு பக்கம் ஒருபோதும் index-இல் தோன்றவில்லை என்றால், நீங்கள் எத்தனை crawler அனுமதிகள் அல்லது schema tags சேர்த்தாலும் அதை மீட்டெடுக்க முடியாது. indexing ஆரோக்கியத்தின் மிகவும் நம்பகமான குறிகாட்டி Google Search Console-இல் உள்ள coverage report ஆகும். ஒரு பக்கம் "not indexed" என்று காட்டப்பட்டால், AI-குறிப்பிட்ட சிக்னல்களைப் பற்றி கவலைப்படுவதற்கு முன் அதை நீங்கள் சரிசெய்ய வேண்டும்.

ஒரு நடைமுறை சரிபார்ப்புப் பட்டியல்

  1. Crawler அணுகலைச் சரிபார்க்கவும் – GPTBot, ClaudeBot அல்லது நீங்கள் கவனிக்கும் வேறு ஏதேனும் AI crawler-க்கான HTTP response-ஐச் சோதிக்கவும். இந்த நிலை அமைதியாகத் தோல்வியடையலாம்; ஒரு block உங்கள் analytics-இல் எச்சரிக்கையை உருவாக்காது.
  2. Index coverage-ஐ உறுதிப்படுத்தவும் – எந்தப் பக்கங்கள் index செய்யப்பட்டுள்ளன, எவை நீக்கப்பட்டுள்ளன மற்றும் ஏன் என்பதைப் பார்க்க Search Console-ஐப் பயன்படுத்தவும். ஏதேனும் "crawl errors" அல்லது "noindex" உத்தரவுகளை முதலில் சரிசெய்யவும்.
  3. அடிப்படை அமைப்புகளைச் சேர்க்கவும் – அணுகல் மற்றும் indexing உறுதியானதும், llms.txt மற்றும் JSON-LD ஆகியவற்றைச் சேர்க்கவும். அவற்றை மேற்கோள் உத்தரவாதங்களாகக் கருதாமல், குறைந்த பராமரிப்பு தேவைப்படும் உதவியாளர்களாகக் கருதவும்.

மாற்றுக்கருத்து

சில விற்பனையாளர்கள் இன்னும் llms.txt generators மற்றும் schema plugins-களை AI-க்கான SEO மேம்படுத்திகளாக விளம்பரப்படுத்துகிறார்கள். நான் சேகரித்த தரவு மற்றும் முக்கியத் தேடுபொறிகளின் அதிகாரப்பூர்வ நிலை ஆகியவற்றின்படி, அந்தத் தகவல்கள் மிகைப்படுத்தப்பட்டவை என்று தோன்றுகிறது. இந்தக் கருவிகள் தீங்கு விளைவிப்பவை அல்ல, ஆனால் அவை ஒரு AI-citation உத்தியின் மையப்பகுதியாக இருக்கக்கூடாது.

அடுத்து கவனிக்க வேண்டியவை

Crawler logs-களைக் கண்காணிக்கவும், Search Console எச்சரிக்கைகளைக் கவனித்துக் கொள்ளவும், மேலும் உங்கள் தரவுப் பரிமாற்றம் தடையின்றித் தொடர அவ்வப்போது உங்கள் JSON-LD-ஐ validation tools மூலம் சோதிக்கவும்.

முக்கியக் கருத்து: உங்கள் தளம் AI-ஆல் மேற்கோள் காட்டப்பட வேண்டுமென்றால், llms.txt மற்றும் schema-வை மந்திரத் தாள்களாகக் கருதுவதை நிறுத்துங்கள். bots உங்களை உண்மையில் சென்றடைய முடிகிறதா என்பதையும் உங்கள் பக்கங்கள் index செய்யப்பட்டுள்ளன என்பதையும் உறுதிப்படுத்திக் கொள்ளுங்கள்; அப்போதுதான் கூடுதல் கோப்புகள் அவற்றின் சிறிய, துணைப் பங்கினைச் செய்யும்.

ஆதாரம்: dev.to-வில் உள்ள அசல் பதிவு