AIアシスタントに引用されることを目的としたウェブサイトを構築しました。推測に頼るのではなく、広く推奨されている3つのシグナルを実践しました。GPTスタイルのクローラーを許可する robots.txt の設定、すべてのページをリスト化した llms.txt ファイル、そしてコンテンツを記述する JSON-LD スキーマです。それぞれをテストした結果、1つだけが警告なしに失敗する可能性があり、他のものは多くの人が主張しているような効果を発揮しないことがわかりました。

なぜこれら3つのシグナルが重要なのか

ウェブマスターは、AIに特化したクローラーには明示的な許可が必要であること、プレーンテキストの「llms.txt」インデックスが大規模言語モデル（LLM）による関連箇所の特定を助けること、そして JSON-LD 構造化データが引用される確率を高めること、といった説明を受けてきました。その約束は単純です。これらのファイルを追加すれば、サイトがAI生成の回答に表示されるようになり、トラフィックとブランドの認知度が高まるというものです。

1. robots.txt で AI クローラーを許可する

GPTBot（またはその他のAIボット）に言及する robots.txt の行は、あくまで「リクエスト」に過ぎません。コンテンツ配信ネットワーク（CDN）やファイアウォールがボットをブロックしている場合、リクエストはサイトに届かず、クローラーはファイル自体を読み取ることができません。ボットがアクセスできるかどうかを知る唯一の確実な方法は、主要なボットごとの HTTP ステータスコードを確認することです。403 (Forbidden) や 503 (Service Unavailable) のレスポンスが返される場合、それ以外の仕組みはすべて無意味です。ボットがいなければ、インデックスも引用も起こりません。

2. llms.txt ファイル

llms.txt ファイルは、単なる URL の Markdown リストです。これは、LLM が HTML だけからナビゲーションを推測しなくて済むよう、サイトのクリーンなマップを提供することを目的としています。実際には、Google のドキュメントではこのファイルは無視されるとされており、主要な検索エンジンの中で引用目的でこれを使用すると明言しているものはありません。用意しておいてもコストはほとんどかからず、カスタム AI エージェントにとっては便利かもしれませんが、AI への引用を増やすための近道として宣伝すべきではありません。

3. JSON-LD スキーマ

JSON-LD は、著者名、公開日、製品 ID などの構造化データをページに直接埋め込みます。多くのマーケターは、スキーマを追加すれば AI の回答にページが表示されやすくなると考えていますが、1,885 ページを対象とした調査では、スキーママークアップ単体では引用数に測定可能な向上は見られませんでした。JSON-LD の真の価値は「エンティティ解決（entity resolution）」にあります。これは、あるページの「Jane Doe」が別のページの「Jane Doe」と同じ人物であることをマシンに伝え、名前や製品が似ているもの同士の混同を防ぐ役割を果たします。

真のボトルネック：インデックス登録

これら3つのシグナルはすべて、基盤となる仕組み（plumbing）に過ぎません。そもそもページがインデックス登録されていなければ、機能しません。どれほどクローラーの許可を与え、スキーマタグを追加したとしても、インデックスに一度も現れないページは取得できないのです。インデックス登録の状態を示す最も信頼できる指標は、Google Search Console（または他の検索エンジンにおける同等のツール）の「カバレッジ レポート」です。ページが「インデックス未登録」となっている場合は、AI 特有のシグナルを気にする前に、まずそれを修正する必要があります。

実践的なチェックリスト

  1. クローラーのアクセスを確認する – GPTBot、ClaudeBot、または関心のあるその他の AI クローラーに対する HTTP レスポンスをテストしてください。このステップは「サイレントに（警告なしに）」失敗することがあります。ブロックされていても、アナリティクスに警告は表示されません。
  2. インデックスのカバレッジを確認する – Search Console を使用して、どのページがインデックスされ、どのページが除外されているか、その理由を確認してください。まず「クロール エラー」や「noindex」ディレクティブを解決してください。
  3. 仕組みを整える – アクセスとインデックス登録が確実になったら、llms.txt と JSON-LD を導入します。これらは引用を保証するものとしてではなく、メンテナンスの負担が少ない「補助ツール」として扱ってください。

反論

一部のベンダーは、いまだに llms.txt 生成ツールやスキーマプラグインを、AI 用の SEO ブースターとして販売しています。私が収集したデータと主要な検索エンジンの公式見解を合わせると、それらの主張は誇張されていると言えます。これらのツール自体に害はありませんが、AI 引用戦略の主軸に据えるべきではありません。

次に注視すべきこと

クローラーのログを監視し、Search Console のアラートに注意を払い、定期的に検証ツールで JSON-LD をテストして、パイプラインが流れ続けるようにしてください。

まとめ： もしサイトを AI に引用させたいのであれば、llms.txt やスキーマを「魔法のチケット」のように扱うのはやめましょう。ボットが実際にアクセスできること、そしてページがインデックスされていることを確認してください。そうして初めて、追加のファイルが控えめながらもサポート的な役割を果たすようになります。

出典: dev.to のオリジナル投稿