robots.txt、llms.txt、サイトマップ、ヘッダは衛生です。クローラが読んでよい範囲を伝えます。ChatGPT、Gemini、誰かの割当への入場券ではありません。
ボットがページに届かなければ、いくらFAQスパムを積んでもモデルは引用しません。まずファイル公開。次に抽出できる事実。それから再計測です。
llms.txtは公開マップ——礼儀の文書です。見るリトリーバも、無視するリトリーバもあります。順位レバーとして売るのが、この市場の嘘です。出荷したものを棚卸しし、差分にラベルします。robotsと食い違うサイトマップ、招いたボットを塞ぐヘッダ、人が見るHTMLではないHTML。
人とクローラに同じ公開HTML。クローキングなし。UA分岐なし。それは気分ではなく、製品の法です。発見——URL提出、道を開くこと——は引用の保証ではありません。読まれる機会です。
エージェント分析を出すときは、すでにあるログからです。学習トラフィック、検索フェッチ、索引ヒットは別の仕事です。「AIトラフィック」に混ぜるのも霧の語です。
人向けHTMLを変えず、エージェント向けにトークンの軽いペイロードは、このスタックのあとからの考えです。クローキングではありません。v1のオファーにも入りません。見えない第二サイトの話は買わないでください。
正直な手順は退屈で、だから効きます。ボットは取れるか、人は区間を引用できるか、次の月次断面は動いたか。衛生であり、伝承ではありません。