AIクローラーは実際どのようにあなたのウェブサイトを読んでいるのか

取得とレンダリングの違い——クローラーが何を見るかを決める分かれ目

ウェブサイトへのアクセスはすべて同じ流れで始まります。あなたのサーバーにリクエストが送られ、サーバーがレスポンスを返します。そのレスポンスがHTML——ページの生の骨組みです。現代のウェブサイトは、この骨組みをわざとほぼ空の状態で送り、その後JavaScript——訪問者のブラウザ内で動く小さなプログラム——を使って、実際のテキストや価格、画像を後から埋め込むことがよくあります。

人間の訪問者のブラウザはそのJavaScriptを自動的に実行するため、この差にまったく気づきません。「レンダリング」とは、この追加ステップの専門用語で、JavaScriptを実行して完成したページを組み立てることを指します。「取得」とは単に生のHTMLを受け取ってそこで止まることです。ほとんどのAIクローラーは取得するだけで、レンダリングはしません。

ロゴと写真ですぐに表示されるホームページを持つ配管業者のサイトを想像してください。しかし、実際のサービス一覧——排水管の詰まり除去、給湯器修理、緊急対応——はページ読み込み後、JavaScriptによって1秒ほど遅れて表示されます。訪問者のブラウザはこの埋め込みをあまりに滑らかに行うため、2つのステップがあったことに気づきません。一方、取得しかしないAIクローラーはほぼ空の殻を見て、そこで止まります。そのクローラーにとって、サービス一覧は存在しないも同然です。

ボットを一つずつ——それぞれ実際には何のためにあるのか

「AIクローラー」とは単一のボットではなく、複数の企業がそれぞれ異なる目的で複数のボットを運用している状態を指します。どれがどれかを知ることは重要です。一つをブロックしても他はブロックされないからです。

OpenAIは4つの異なるボットを文書化しています。GPTBotはモデルの学習に使われる可能性のあるコンテンツを収集します。OAI-SearchBotはChatGPT内での検索時に何を表示するかを決めるためにクロールします。OAI-AdsBotは特定の広告リンク先ページの安全性を確認します。ChatGPT-Userはこの3つとは異なり、実際の人がChatGPTに直接質問したときだけリアルタイムでページを訪問します。OpenAI自身のドキュメントでは、人が明示的にその取得を求めたため「robots.txtのルールが適用されない場合がある」と記されています。

Anthropicも同様の区分を採用しています。ClaudeBotは「生成AIモデルの有用性と安全性を高めるため」にコンテンツを収集し、Claude-SearchBotはClaude内での検索的な結果を改善するためにクロールし、Claude-Userは人の質問によって導かれたときだけページを取得します。Perplexityも同じパターンを採用しており、PerplexityBotはウェブサイトを表示・リンクするためにクロールし、Perplexity-Userは人の質問への応答としてのみページを取得します。

これらのボットはいずれもJavaScriptをレンダリングしません。上記で引用した各社自身のドキュメントによれば、いずれもrobots.txtを尊重することになっています——ただしユーザー起動型のボットは例外です。これは、実際に人が向こう側で答えを待っているからこそ存在するものです。

Googlebotは例外であり、その理由を知っておく価値がある

AIクローラーがJavaScriptをレンダリングしないのなら、なぜこれが意外に感じられるのでしょうか。それはGooglebotがレンダリングするからです。GoogleはGooglebotが「Googleの検索インデックスを構築するための情報を見つける」ために存在すると文書化しており、それをうまく行うため、Googleは長年かけて完全なレンダリングパイプラインを構築してきました。これは本質的に、完全に理解したいすべてのページに対して、膨大な規模で本物のブラウザを動かしているようなものです。

これは本当にコストのかかるインフラであり、現時点でAI企業は自社のクローラー向けに同等のものをまだ構築していません。Vercel自身の分析はこう率直に述べています。「現在、主要なAIクローラーでJavaScriptをレンダリングするものは一つもありません。これにはOpenAI(OAI-SearchBot、ChatGPT-User、GPTBot)、Anthropic(ClaudeBot)、Meta(Meta-ExternalAgent)、ByteDance(Bytespider)、Perplexity(PerplexityBot)が含まれます」。同じ分析では、これらのクローラーがサイトのJavaScriptファイルを取得することがあるとも分かりました——ChatGPTのボットはリクエストの約11.5%で、Claudeのボットは約23.8%でこれを行っていますが、ファイルを取得することと実行することは別物です。実行はやはり行われていません。同じ期間にVercelが計測したところ、Googlebotの月間リクエスト数は45億件だったのに対し、GPTBotは5.69億件、Claudeのクローラーは3.7億件と、その一部にとどまりました。

このギャップが永遠に続くとは限りません。しかし、今日自社サイトをどうするか決める経営者にとって、これは現在の現実であり、不変の法則ではありません——時々見直す価値はありますが、眠れなくなるほど心配することではありません。

これが実際のウェブサイトにもたらす本当のコスト

先ほどの配管業者のサイトに戻りましょう。サービス一覧、対応エリアの地図、顧客レビューがすべて初期ページの後にJavaScriptで読み込まれるとしたら、誰かがAIアシスタントに「近くで緊急配管修理をしてくれるのは誰」と尋ねたときに何が起こるでしょうか。アシスタントのクローラーはある時点でそのページを取得し、ほぼ空の殻を見て、そのまま先に進みました。この配管業者が実際にどんなサービスを提供しているのか、一度も知ることはなかったのです。

これは些細な技術的な話ではありません。簡単に言えば、AIアシスタントが持つ世界像の中に存在するかしないかの違いです。サービスをその最初のサーバーレスポンスの中に直接読み込ませている競合の配管業者は、ビジネスそのものが優れているわけでなくても、単に推薦されやすいというだけの理由で有利になります。

自社サイトが実際にクローラーに何を見せているか確認する方法

これを自分で確認するのに技術者である必要はなく、所要時間は2分ほどです。

• ホームページを右クリックし、「ページのソースを表示」を選ぶ（またはCtrl+U／Cmd+Option+Uを押す）。表示される内容は、クローラーが取得する生のHTMLにかなり近いものです。サービス内容や価格、重要な情報がそのテキストに含まれていなければ、AIクローラーにも読めない可能性があります。
• ブラウザで一時的にJavaScriptを無効にする（たいていのブラウザは開発者ツールや設定でこれが可能です）。その状態でホームページを再読み込みしてください。消えてしまうものこそ、レンダリングしないクローラーがそもそも決して見ることのない部分です。
• サイトを制作・運用している担当者に直接聞いてみる——「サービス、価格、所在地、営業時間といった主要な内容は、サーバーの最初のレスポンスで送信されていますか、それとも後からJavaScriptで埋め込まれていますか」。正直な答えが「後から埋め込まれている」であれば、それが優先的に直すべき点です。

次にすべきこと

ここまでの内容は、サイトを作り直すことを求めているわけではありません。求めているのは、あなたが何をしているのか、どこにいるのか、いくらかかるのか、なぜ選ばれるべきなのかといった最も重要な言葉が、JavaScriptが実行される前の、サーバーからの最初のレスポンスの中にきちんと含まれるようにすることです。構造化データやクローラーに配慮したシンプルなページ構成は、まさにこの土台の上に成り立っています。そしてGrowliは、単にブラウザ上で見栄えが良いかだけでなく、AIアシスタントが今日実際にあなたのビジネスを見て推薦できるかどうかを確認します。

FAQ