AIクローラーのトラフィック対Googlebot：実際の数字はどうなっているか

Googlebotと比較して、AIクローラーが実際にどれくらいの頻度で訪問するか

現代のウェブの大きな部分をサーバーでホストしているVercelは、自社のトラフィック分析を公開しました。これは自社ネットワーク全体での丸1か月分のデータです。その期間中、Googlebotは45億件のリクエストを生成しました。GPTBotは5.69億件——ボリュームにして約8分の1です。Claudeのクローラーは3.7億件で、さらに少なくなります。

簡単に言えば、Vercelがホストするウェブに対してGooglebotが1回訪問するごとに、GPTBotはおよそ8分の1回の訪問しかせず、Claudeのクローラーはさらに少ないということです。これは単なる丸め誤差ではありません——Googleが検索インフラを大規模に構築・運用してきた期間がはるかに長いことを反映しています。

クロールすることと訪問者を送り返すことはまったく異なる

生のクロール量は「このボットがどれくらいの頻度で訪問するか」という問いに答えますが、経営者が通常気にするのは別の問いです。「これは顧客を送ってくれるのか」ということです。自社データによれば全ウェブトラフィックの約5分の1の前面に位置するというCloudflareは、この問いの両面を1週間にわたって測定し、クロール対紹介比率と呼ぶものを公開しました。これは、ある企業のボットがあるページを何回クロールするごとに、1回、リンク経由で本物の訪問者をそこに送ったかを示すものです。

この数字は衝撃的です。Cloudflareの調査によると、OpenAI全体の比率は、紹介された訪問者1人あたり約887回のクロールに近い値でした。Anthropicはさらにはるかに高く、Cloudflareの測定では「ほぼ50,000対1」でした。リンク付きで回答することを中心に製品が設計されているPerplexityは、約118対1というはるかに引き締まった比率でした——依然として偏ってはいますが、クロールした分に対して訪問者を送り返すという点では3社の中で最も近い値です。

なぜこの比率はこれほど偏っているのか——クロールの大部分は回答ではなく学習のため

クロールと紹介の間のギャップがこれほど広い理由は、このクロールの大部分が実際に何のために行われているかに起因します。同じCloudflareの調査では、「AIボットのクロールのうち、ほぼ80%を占める学習用トラフィック」が、特定の質問にリアルタイムで答えるために使われるトラフィック——つまり、あなたのサイトへのリンクが含まれる可能性が最も高い種類のトラフィック——をはるかに凌駕していることがわかりました。

学習用クロールは、一般的にモデルを構築または改善するためにコンテンツを収集するものであり、特定の人が特定の質問をしたわけではないため、訪問者をどこかに送る直接的な理由がありません。ChatGPT-UserやPerplexity-Userのような、誰かが実際の質問をしたためにページを訪問するユーザー起動型のフェッチこそが、実際の訪問者につながる可能性が最も高いトラフィックであり、発生するクロール全体のうちのごく一部にすぎません。

これは実際のビジネスにとって何を意味するか

確定申告シーズン中の地元の会計士を想像してください。彼女のウェブサイトには、月に何千回ものGooglebotの訪問がある一方で、AIクローラーの訪問はそれと比べてほんの一握りかもしれません——そしてそれは想定内のことであり、彼女のサイトがAIアシスタントに失敗している兆候ではありません。彼女にとって実際に重要なのは、ボリュームよりもむしろ2つの、より的を絞った問いです。見込み客が使っているアシスタントに、そもそもクロールされているのか。そして誰かがそうしたアシスタントの一つに直接質問したとき、彼女の名前を挙げて答えられるだけの十分な情報をアシスタントが持っているか、ということです。

何十年もの間、企業がGooglebotの活動を追いかけてきたのと同じように、AIクローラーの訪問回数を追いかけるのは、ここでは正しい直感ではありません——ボリュームの構造自体が、まだ同じようにはできていないのです。クロールされているのに引用されていないかどうかを診断する当社のガイドでは、生の訪問回数よりも重要な、実際に言及を予測するものについて詳しく説明しています。

FAQ