AI クローラ定点観測（1） — llms.txt は読まれているか

「AI に読まれるサイトにする」ための施策が数多く提案されています。当社もそのひとつである llms.txt を設置していますが、効果を確認しないまま提供サービスとして掲げることは避けたいという考えから、自社サイトのアクセスログで実際に測ることにしました。

本稿はその第 1 回です。以後、四半期ごとに観測結果を追記します。

観測 1：llms.txt を取得しているのは誰か

まず llms.txt です。6 か月間の取得は 85 件、ユニークな接続元は 54 でした。1 日あたり 0.5 件に届きません。

内訳を見ると、上位はすべて当社関係でした。

そして決定的な点として、54 の接続元のうち、大手 AI 事業者が公開しているクローラの IP レンジに該当したものは 0 件でした。照合したのは OpenAI・Anthropic・Perplexity・Apple・Google・Microsoft の公開リストです。

つまり当社サイトにおいて、llms.txt は 6 か月間、主要な AI クローラに一度も読まれていません。読んでいたのは当社自身と、名前を聞いたことのないクローラでした。

観測 2：AI クローラを名乗る UA の約 9 割は詐称だった

次に User-Agent です。26 日間の総リクエストは 86,730 件。このうち AI クローラや検索クローラを名乗るものが多数ありました。

ここで重要なのは、User-Agent は誰でも自由に名乗れるという点です。主要な事業者は自社クローラの発信元 IP レンジを JSON で公開しており、照合すれば真偽を判定できます（公開していない事業者もあります。後述）。

判定した結果が次の表です。

AI クローラを名乗るアクセスの約 9 割が、その事業者の IP から来ていませんでした。

この 11,106 件は、逆引きの大半が bc.googleusercontent.com、すなわち Google Cloud の仮想マシンでした。

ここは誤解されやすい点なので補足します。「クラウドから来ているから偽物」ではありません。実際、Anthropic が公開しているレンジには Google Cloud のアドレスが含まれています。判定の根拠はあくまで、名乗った事業者が公開しているレンジに、その IP が含まれていなかったという一点です。

正体は、要求しているパスを見れば明らかです。

/env.json          /public/.env       /laravel/.env
/credentials.json  /key.json          /service_account.json
/serviceAccountKey.json               /actuator/configprops
/graphql           /graphql/console   /openapi.json

なお Amazonbot（1,159 件）と Google-Extended（335 件）については、照合できる公式 IP リストを見つけられなかったため、上の集計から除外しています。検証できないものを「詐称」と数えるべきではないという判断です。ただし両者とも接続元は上記と同じ Google Cloud のレンジでした。

観測 3：本物のクローラは何を見ているか

一方、IP が公式レンジと一致した 1,333 件は、まったく違う挙動を示していました。

応答は 1,242 件が 200、404 はわずか 9 件です。存在するページだけを、行儀よく取りに来ています。

注目すべきは取得対象です。robots.txt と sitemap.xml に集中しています。 ClaudeBot は 636 件中 577 件、実に 9 割がこの 2 ファイルでした。例外は Applebot で、こちらは CSS・JS・検索用インデックスの取得が中心です（ページの見た目まで解釈しようとしていると考えられます）。

そして、本物と判定できた 1,333 件のなかに、llms.txt を取得したものは 1 件もありませんでした。

この観測から言えること・言えないこと

言えること

• 当社サイトでは、llms.txt は 6 か月間、主要 AI クローラに読まれなかった
• AI クローラを名乗るアクセスの約 9 割は、IP 照合で偽物と判定できた
• 本物のクローラは robots.txt と sitemap.xml を起点に巡回している
• User-Agent によるアクセス制御は、この 9 割に対して無力である

言えないこと

• 「llms.txt は世界中のどこでも読まれていない」——観測は当社サイト 1 件、しかも低トラフィックです
• 「AI クローラの 9 割は偽物である」——当社サイトに来た特定の 26 日間の比率です
• 「llms.txt に意味がない」——将来どこかが読み始める可能性は否定できません。設置の維持コストはゼロなので、当社は残しています

実務への含意

第一に、機械可読な情報公開に投資するなら、robots.txt と sitemap.xml が先です。 本物のクローラが実際に取りに来ているのはこの 2 つで、提案段階の新しい規約ではありません。当社が構造化データ（schema.org）を優先しているのも同じ理由です。この判断の背景は AI 開発・運用ポリシー 第 7 項に定めており、AI ソリューション のサービス内容にも反映しています。

第二に、クローラの制御を User-Agent で行っても効果は限定的です。 素直に名乗る本物には効きますが、詐称する側には効きません。制御が必要なら、各社が公開している IP レンジとの照合が前提になります。逆に言えば、本物だけを通したいのであれば IP 照合は十分に実用的です。公開リストは JSON で提供されており、当社の検証もそれで行いました。

ただし、IP 照合を常時のアクセス制御として組み込む場合は、公開リストが更新される前提での運用が必要です。各社のリストは随時変わるため、取得を自動化し、古いリストで正規のクローラを締め出さない仕組みまで含めて設計する必要があります。まず取り組むのであれば、遮断ではなくログでの事後確認から始めるのが現実的です。

第三に、「AI に読まれるための施策」を導入する際は、効果の確認方法を先に決めておくことをお勧めします。 今回の検証に必要だったのは、アクセスログに User-Agent と実クライアント IP（リバースプロキシ配下であれば X-Forwarded-For）を記録する設定だけでした。逆にこれがなければ、llms.txt が読まれているかどうかを永久に確かめられません。当社もログを JSON 形式に変更するまで、User-Agent を記録していませんでした。効果を測れない施策は、効果があるかどうかも議論できません。

次回

次回は 2026 年 11 月ごろ、同じ手順で観測します。User-Agent 付きのログが 3 か月分蓄積されるため、比率の変動を見られるようになります。あわせて、当社が 2026 年 8 月に整備した構造化データが、クローラの挙動に変化をもたらすかどうかも観測対象とします。

本稿の姿勢は、効果が確認できる施策を優先するという当社の方針に基づくものです。ベンダー提案の妥当性を第三者として検証する 技術監修 でも、同じ考え方で判断しています。