Сколько на самом деле ИИ-поиск захватывает из вашего блога?

Когда ИИ выполняет поиск в интернете, какой объем вашего контента он видит? Читает ли он всю статью целиком или только заголовок?

Я протестировал инструменты Anthropic, чтобы выяснить это. Вот как это работает.

Поиск ИИ происходит в два отдельных этапа:

Этап 1: WebSearch ИИ использует поисковую систему, чтобы найти список результатов. На этом этапе ИИ почти ничего не видит на вашей странице. Он видит только:

  • URL
  • Заголовок страницы
  • Дату последнего обновления

Если ваш заголовок расплывчатый, ИИ может полностью пропустить ваш сайт.

Этап 2: WebFetch Если ИИ находит релевантный заголовок, он отправляет запрос на получение содержимого страницы. Именно здесь вступает в дело контент.

Однако существует скрытый уровень. Такие инструменты, как Claude Code, используют промежуточную модель (Haiku), чтобы сначала составить краткое резюме страницы. Основная модель ИИ часто даже не видит ваш оригинальный текст. Она видит только резюме, созданное промежуточной моделью.

Это означает, что ваш текст фильтруется еще до того, как его увидит пользователь.

Как писать для ИИ-поиска:

  • Оптимизируйте заголовки: не используйте «Implementation Notes». Используйте «Complete Implementation Notes: Content Negotiation for HTML-to-Markdown». Дайте ИИ достаточно данных, чтобы он захотел кликнуть.
  • Выносите ценность в начало: модель суммаризации читает текст сверху вниз. Размещайте основные выводы в первых нескольких предложениях каждого раздела.
  • Пишите с расчетом на цитирование: цитаты ИИ очень коротки (примерно от 125 до 150 символов). Пишите законченные предложения, которые имеют смысл без окружающего контекста.
  • Используйте Markdown: применяйте теги H2, маркированные списки и таблицы. Они служат ориентирами, помогая ИИ понять структуру вашего текста.

Последний совет: проверьте свой robots.txt. Вы можете разрешить поисковым ботам цитировать ваш сайт, одновременно блокируя обучающим ботам использование ваших данных для тренировки их моделей.

Перестаньте писать только для людей. Начните писать для агентов, которые вас находят.

Source: https://dev.to/isray_notarray/how-much-of-your-blog-does-ai-search-actually-grab-breaking-down-claudes-websearch-and-webfetch-538f

Optional learning community: https://t.me/GyaanSetuAi