Construí un sitio web que quiere ser citado por asistentes de IA y, en lugar de adivinar, puse en práctica tres señales ampliamente recomendadas: una entrada en el archivo robots.txt que permite la entrada a los rastreadores de estilo GPT, un archivo llms.txt que enumera todas las páginas y un esquema JSON-LD que describe el contenido. Después de probar cada uno, descubrí que solo uno puede fallar sin previo aviso, y los otros no hacen lo que la mayoría de la gente afirma.

Por qué importan las tres señales

A los webmasters se les ha dicho que los rastreadores enfocados en IA necesitan permiso explícito, que un índice de texto plano "llms.txt" ayuda a los modelos de lenguaje extensos (LLMs) a localizar pasajes relevantes, y que los datos estructurados JSON-LD aumentan las probabilidades de ser citado. La promesa es sencilla: añade estos archivos y tu sitio empezará a aparecer en las respuestas generadas por IA, impulsando el tráfico y la visibilidad de la marca.

1. Permitir la entrada de rastreadores de IA en robots.txt

La línea de robots.txt que menciona a GPTBot (o cualquier otro bot de IA) es solo una solicitud. Si una red de entrega de contenido (CDN) o un firewall bloquea al bot, la solicitud nunca llega al sitio y el rastreador no puede leer el archivo en absoluto. La única forma fiable de saber si el bot puede acceder a ti es comprobar el código de estado HTTP de cada bot importante. Una respuesta 403 (prohibido) o 503 (servicio no disponible) significa que el resto de la infraestructura es irrelevante: sin bot, no hay indexación ni citación.

2. El archivo llms.txt

Un archivo llms.txt es simplemente una lista de URLs en formato markdown, destinada a proporcionar a los LLMs un mapa limpio de un sitio para que no tengan que inferir la navegación solo a partir del HTML. En la práctica, la documentación de Google dice que ignora el archivo, y ningún motor de búsqueda importante se ha comprometido a utilizarlo con fines de citación. Mantenerlo no cuesta casi nada y puede ser útil para agentes de IA personalizados, pero no debe promocionarse como un atajo para obtener más citaciones de IA.

3. Esquema JSON-LD

JSON-LD incorpora datos estructurados —nombres de autores, fechas de publicación, IDs de productos— directamente en una página. Muchos especialistas en marketing asumen que añadir esquemas hará que sus páginas aparezcan con más frecuencia en las respuestas de la IA, pero un estudio de 1,885 páginas no encontró un aumento mensurable en las citaciones solo mediante el marcado de esquema. El verdadero valor de JSON-LD reside en la resolución de entidades: le indica a una máquina que "Jane Doe" en una página es la misma "Jane Doe" en otra, evitando la confusión entre personas o productos con nombres similares.

El verdadero cuello de botella: la indexación

Las tres señales son parte de la infraestructura básica; solo funcionan si la página está indexada en primer lugar. Una página que nunca aparece en un índice no puede ser recuperada, sin importar cuántos permisos de rastreo o etiquetas de esquema añadas. El indicador más fiable de la salud de la indexación es el informe de cobertura en Google Search Console (o la herramienta equivalente para otros motores). Si una página aparece como "no indexada", debes solucionar eso antes de preocuparte por cualquier señal específica para la IA.

Una lista de verificación práctica

  1. Verificar el acceso del rastreador – Prueba la respuesta HTTP para GPTBot, ClaudeBot o cualquier otro rastreador de IA que te interese. Este paso puede fallar silenciosamente; un bloqueo no generará una advertencia en tus analíticas.
  2. Confirmar la cobertura de indexación – Utiliza Search Console para ver qué páginas están indexadas, cuáles están excluidas y por qué. Resuelve primero cualquier "error de rastreo" o directiva "noindex".
  3. Añadir la infraestructura básica – Una vez que el acceso y la indexación sean sólidos, incorpora llms.txt y JSON-LD. Trátalos como ayudantes de bajo mantenimiento en lugar de garantías de citación.

Contrapunto

Algunos proveedores siguen comercializando generadores de llms.txt y complementos de esquema como potenciadores de SEO para la IA. Los datos que recopilé, sumados a la postura oficial de los principales motores de búsqueda, sugieren que esas afirmaciones son exageradas. Las herramientas no son perjudiciales, pero no deberían ser el eje central de una estrategia de citación de IA.

Qué vigilar a continuación

Monitoriza los registros de rastreo, mantente atento a las alertas de Search Console y prueba periódicamente tu JSON-LD con herramientas de validación para mantener el flujo de datos constante.

Conclusión: Si quieres que tu sitio sea citado por la IA, deja de tratar a llms.txt y al esquema como tickets mágicos. Asegúrate de que los bots puedan alcanzarte realmente y de que tus páginas estén indexadas; solo entonces los archivos adicionales cumplirán su modesto papel de apoyo.

Fuente: la publicación original en dev.to