サーバーログで本物のAIクローラー訪問を確認する方法

ログ上の名前だけでは不十分な理由

ある歯科医院のウェブサイトで、先月「GPTBot」を名乗る何かから50回の訪問がログに記録されていたと想像してください。一見すると、OpenAIがそのサイトを読んでいる証拠のように感じられます。しかし、ユーザーエージェント文字列は完全に自己申告制です——受付で訪問者が身分証の確認もなく自分の名前を口にしているようなものです。誰でも作れるまったく別のプログラムが、まったく同じ名前を名乗ることができます。

これは2つの実務上の理由で重要です。あるクローラーをブロックするか許可するかを決めようとしているなら、模倣品ではなく本物を実際に制御していることを知りたいはずです。また、実際にどれだけのAIクローラーのトラフィックを受けているかを把握しようとしているなら、水増しされた、あるいは偽装された数字はまったく誤った実像を与えてしまいます。

本当の確認方法：公開されているIPリスト

主要な運営企業はいずれも、同じ方法でこれを解決しています。自社のクローラーがリクエストを送信する実際のIPアドレス範囲を一覧にした、機械可読なファイルを公開しているのです。あるリクエストが本当にその企業のクローラーであると言えるのは、ユーザーエージェント名と送信元IPアドレスの両方が、その企業自身が公開している内容と一致する場合だけです。

OpenAIは自社のボットそれぞれについて別々の確認用ファイルを公開しています——GPTBot、OAI-SearchBot、OAI-AdsBot、ChatGPT-Userにはそれぞれ独自のリストがあります。Anthropicは1つのリストを公開しており、claude.com/crawling/bots.jsonで自社のクローラーをカバーしています。Perplexityは両方のボットについてファイルを公開しており——PerplexityBotとPerplexity-Userです——自社のドキュメントでは、信頼できる結果を得るためにユーザーエージェント名とIPアドレスの両方を一緒に確認することを推奨しています。

4つのステップでできる確認方法——わかりやすく

この確認を行うのに開発者である必要はありませんが、技術的な手順を手伝ってもらえる人がいれば、より早く進められます。

• ログの中で、名乗られている訪問を見つける。サーバーのアクセスログで、確認したいボット名——「GPTBot」「ClaudeBot」「PerplexityBot」など——を検索し、各リクエストがどのIPアドレスから来たかを記録します。
• その企業が公開しているIPリストを開く。それぞれ上記のアドレスにある小さなプレーンテキストファイルで、ソフトウェアが読み取ることを想定していますが、人間にも問題なく読めます。
• 名前だけでなく、IPアドレスを照合する。ログにあるIPアドレスがその企業の公開している範囲内にあれば、その訪問は本物です。含まれていなければ、何かが自分のものではない名前を名乗ったということです。
• 定期的に再確認する。各企業はインフラの変更に応じてこの範囲を更新するため、一度きりの確認はすぐに古くなります。ほとんどのサイト運営者は、数か月ごとに、あるいはクローラーのトラフィックに何か異常を感じたときだけ再確認すれば十分です。

これが実際に何から守ってくれるのか

これは疑心暗鬼の話ではなく、推測ではなく情報に基づいた判断を下すという話です。自社製品についてAIアシスタントに学んでほしいという理由でGPTBotを許可すると決めた経営者は、自分が許可しているトラフィックが本当にGPTBotであり、信頼された名前を借りて単純なブロックをすり抜けようとする無関係なスクレイパーではないことを知っておくべきです。

同じ確認は逆方向でも重要です。robots.txtでGPTBotをブロックしているビジネスは、正当で行儀の良いクローラーがその指示を尊重してくれると信頼しています——OpenAI自身のドキュメントでも、GPTBotはそうすると述べられています。GPTBotの名前を騙った偽の訪問は、その同じ誠実さには縛られません。これも、トラフィックに何か不自然な点が見えたときにIP確認が重要になるもう一つの理由です。実際に誰が訪問しているかを確認できたら、次はこれらのクローラーがサイトをどう読むかについての当社のガイドと、それらをブロックするとGoogleの順位に影響するかどうかの事実が、次の判断の参考になります。

FAQ