AIクローラー完全ガイド：GPTBot、ClaudeBot、PerplexityBotの正体
著者 Zakaria Reziki
最高経営責任者 — Growli · 2026年9月25日 · 9 分で読了
Zakaria Reziki が定めた編集基準のもと、AI の支援を受けて執筆し、自動での情報源確認と品質チェックを経て公開しています。
AIクローラーとは、AI企業がウェブページを訪問するために動かす小さなプログラムのことだ。住所のリストを巡る郵便配達人のようなものだが、このプログラムはページの中身を読み、そのコピーを持ち帰る点が違う。 自社サイトの訪問者ログを見て、本物の訪問者の隣に「GPTBot」や「ClaudeBot」のような名前を見つけたことがあるなら、それはこうしたプログラムの1つであり、そこで何をしていたのか知っておく価値がある。
ほとんどのサイト運営者はこれらの名前を1つか2つ聞いたことがあり、どれも同じように動くと思い込んでいる。実際は違う。あるボットはモデルの学習に使われる長期的な知識を蓄積し、別のボットは顧客がChatGPTやPerplexityに質問を打ち込んだ直後の1秒で1ページだけを取得する。この2つを混同することが、よく見かける最大の間違いにつながる。企業はrobots.txt——自動訪問者にサイトのどの部分を読んでよいか伝える小さなテキストファイル——で「AIボット」をひとまとめにブロックし、コンテンツを守っているつもりが、逆に自分をおすすめされ得ない存在にしてしまう。
本ガイドでは、主要な3社のアシスタントが現在公開しているクローラーをすべて平易な言葉で紹介し、自分で確認できる出典も示す。これにより、その判断を偶然ではなく意図的に下せるようにする。
各社のボットを1つずつ見ていく
robots.txtは、店の入口に貼られた「配達は裏口から、お客様は正面からどうぞ」という看板だと思ってほしい。これはすべての訪問者が看板を読んで初めて機能し、どの看板が誰に当てはまるかを知っている場合にのみ訪問者を振り分けられる。実際にドアをノックしているのは誰なのか、見ていこう。
OpenAIは4つの別個のボットを公開している。GPTBotはモデルの学習・改善に役立てるためテキストを収集する——特定の質問に答えるためではなく、賢くなるために図書館の本を読む研究者のようなものだ。OAI-SearchBotは違う。ユーザーが何かを尋ねたときにChatGPTの検索機能がそのページを見つけて引用できるよう、ページをクロールする。これはウェブをインデックスする検索エンジンに近い役割だ。ChatGPT-Userは、誰かがChatGPTと会話していて、アシスタントがリアルタイムで何かを確認する必要がある瞬間にページを訪問する——店員が顧客の目の前で在庫を確認しにバックヤードへ行くようなものだと考えてほしい。OAI-AdsBotは、ChatGPTの広告として提出されたページがおすすめしても安全かどうかを確認する。OpenAIはこの4つのボットと、robots.txtへの対応方針を開発者サイトで公開している。
Anthropic（Claudeを手がける企業）は3つのボットを動かしている。ClaudeBotはモデル学習のためにページを収集する、GPTBotと同じ図書館型の役割だ。Claude-SearchBotはページをクロールし、Claudeの検索結果で見つけて引用できる内容を改善する。Claude-Userは、Claudeのユーザーがあるページについて尋ねた瞬間にそのページを取得する——ChatGPT-Userと同じ「顧客の前で確認する」動きだ。Anthropicはこの3つのボットと、それぞれの制御方法をヘルプセンターで説明している。
Perplexityは2つにとどめている。PerplexityBotはページをクロール・インデックスし、Perplexityの回答からリンクできるようにする——これもインデックス役だ。Perplexity-Userは、あるユーザーの代わりに、質問がそれを必要とする瞬間にページをリアルタイムで取得する。Perplexity自身のドキュメントがこの2つを挙げ、違いを説明している。
5つのボット、3つの企業
OpenAI、Anthropic、Perplexityの顔ぶれ
GPTBot（OpenAI）
OpenAIのモデル学習を助けるためにクロールする。独自のスケジュールで訪問。
ChatGPT-User（OpenAI）
その瞬間に誰かがChatGPTと会話しているため、ページをリアルタイムで取得する。
ClaudeBot（Anthropic）
Claudeの学習を助けるためにクロールする。独自のスケジュールで訪問。
Claude-User（Anthropic）
その瞬間に誰かがClaudeと会話しているため、ページをリアルタイムで取得する。
PerplexityBot（Perplexity）
Perplexityの回答からリンクできるよう、ページをクロール・インデックスする。
1つではなく2つの仕事：学習 対「今この瞬間」
このパターンが見えてくれば、多種多様なボットも2つのシンプルな区分に収まる——そしてこの区分こそが、実際にあなたが取るべき行動を変える。
学習・インデックス系のボット——GPTBot、OAI-SearchBot、ClaudeBot、Claude-SearchBot、PerplexityBot——は、特定の顧客とは無関係に、独自のスケジュールで訪問する。これらの企業はこうして時間をかけ、ウェブ全般の知識と検索可能なインデックスを構築している。これらのどれかをブロックすることは、その企業に「今後のページはこの用途に使わないでほしい」と伝える、本物で意味のある選択だが、効果が出るのは緩やかで、ブロック前に学習済みの内容には一切影響しない。
ユーザーが引き起こすボット——ChatGPT-User、Claude-User、Perplexity-User——は、会話の最中に実在の人物がアシスタントに「今すぐ」ページを見てほしいと頼んだから訪問する。現在の料金を確認したり、今日のメニューを読んだり、営業時間を確認したりするためだ。OpenAIとPerplexityはいずれも、この依頼が人間から出たものである以上、こうした訪問は自動クロールと同じようにはrobots.txtを尊重しない場合があると明言している——直接質問をする人には、自分でリンクをクリックした場合と同じアクセスが認められるべきだという理屈だ。
だからこそ、「AIボット」をひとまとまりの区別のない存在としてブロックすると、しばしば逆効果になる。来月、あなたのビジネスを見つけやすくしてくれたはずのクローラーを止めてしまいながら、明日ページがリアルタイムで取得されることは何ひとつ防げない——そもそもその取得は、あなたがブロックできる対象ではなかったからだ。
自社のサーバーログを読んで、本当に誰が来たのかを見る
自社サイトでこうしたことが起きているか確認するのに、特別なソフトは必要ない。すべてのウェブサーバーはアクセスログ——訪問者と閲覧内容を記録し続けるリスト——を保持しており、各クローラーはuser-agentという行で自分の正体を明かす。配達員がバッジを見せるようなものだ。
コマンドラインでアクセスできるホスティング環境であれば、自分でそのログを検索できる。アクセスログで「GPTBot」「ClaudeBot」「PerplexityBot」というテキストを検索するだけの単純なコマンドで、すべての訪問が日付、要求された正確なページ、サーバーがそのアクセスを通したかブロックしたかとともに表示される。コマンドラインを避けたいなら、たいていのホスティング管理画面（cPanelやPleskなど）でも、クリック操作の「生ログ」や「訪問者ログ」画面から同じログを見られる。
見つけたら確認する価値があるのは2点だ。あるボットが最後に訪問したのはいつか（学習用ボットが一度も訪問していなければ、そのページはまだその企業の学習データに含まれていないことになる）、そしてリクエストが成功したかブロックされたか——GPTBotにエラーを返しているページは、本物の顧客のブラウザにも同じエラーを返している可能性があり、どちらにせよ知っておく価値がある。
隠すのではなく助けてくれるrobots.txtを書く
robots.txtは、サイトのルート（yoursite.com/robots.txt）に置くシンプルなテキストファイルで、どの自動訪問者がサイトのどの部分を読めるかのルールを列挙する。Googleのクロールに関するドキュメントは自社の検索クローラー向けに書かれたものだが、ファイル形式はすべてのボット運営者が共有しており、開いたことがないなら構文の平易な説明として最も分かりやすい。
ほぼすべてのローカルビジネスや小規模事業者にとって、最も安全な出発点は最もシンプルなものだ。すべてのクローラーにすべての公開ページの読み取りを許可し、AIボット専用のDisallowルールは一切書かない。クロールされることの利点は、言及・比較・推薦される機会が得られることであり、ブロックすることの欠点は、それが起きたと知る術もないまま、ある回答からまるごと除外されることだ。「部分的にブロック」した状態でアシスタントがあなたをより好意的に描写してくれるバージョンは存在しない——できるのは、そのボットに対してあなたを見えなくすることだけだ。
本当の例外は2つある。1つは検索エンジンにも表示したくないページ——非公開の顧客ポータル、内部用の管理ページ、未公開の下書きなど——で、これらはAIかどうかにかかわらず、すでにすべてのクローラーに対するDisallowルールを持っているべきだ。もう1つは、サイト上のデザインや注意書きなしに文脈から切り離して読まれると本当に誤解を招くページで、これはまれだが、自社に当てはまるなら見直す価値がある。
特定のボットをブロックすると決めた場合は、正確な名前を使うこと——「GPTBot」であって「OpenAI」でも「AIボット」でもない。各ボットは自分の名前で書かれたルールにしか従わないからだ。GPTBotをブロックするルールはOAI-SearchBotにまったく影響せず、その逆も同様である。この区分こそが、そもそもこれらの企業がボットを分けている理由のすべてだ。
- 対応したいボットをそれぞれ正確な名前で列挙する。ボット1つにつきUser-agent行1行。
- 本当に非公開なページでない限り、AI専用のDisallowルールはファイルに書かない。
- サイト移行のたびにファイルを再確認する。新しいホスティングがすべてをブロックする既定のrobots.txtを付けてくることがある。
- 公開後、ブラウザでyoursite.com/robots.txtにアクセスして実際のファイルをテストする。ここでのタイプミスは静かで見逃しやすい。
robots.txtの判断
3つの問いで決める妥当な方針
このページはすでに検索結果で公開されているか
Googleがすでにこのページを表示できるなら、AIクローラーが読んでも追加のコストはない。
リンクをクリックして誰かに見つけられても構わないか
人間の訪問者が直接そのページにたどり着いても問題ないなら、同じページを読むボットも問題ない。
そのうえでDisallowを検討する
検索結果からも外したいページ——非公開ポータル、下書き、管理画面——だけにブロックを限定する。
AI がお客様の事業について何を伝えているかを確認
Growli は ChatGPT、Gemini、Claude、Perplexity における AI 回答でのシェアを測定し、あらゆるギャップを優先アクションに変えます。
はじめるFAQ
いいえ。GPTBotは、OpenAIが今後のモデル学習にあなたのページを使えるかどうかにのみ関わります。ChatGPTの検索機能は別のクローラーOAI-SearchBotを使い、会話中のリアルタイム取得にはChatGPT-Userを使います——どちらもGPTBotだけを指定したルールの影響を受けません。ChatGPTの検索結果から特にページを除外したい場合は、OAI-SearchBotも指定する必要があります。
独自のスケジュールで動く自動クローラー——GPTBot、ClaudeBot、PerplexityBot、そして2つのインデックス用ボット——は、いずれも自分の正確な名前宛てのrobots.txtルールを尊重すると公表しています。リアルタイムでユーザーが引き起こすボットは異なります。OpenAIとPerplexityはいずれも、この特定の取得は人間から依頼されたものである以上、robots.txtのルールが同じようには適用されない場合があると明言しています。これは、リクエストがスケジュールされたクロールではなく、実在の人物の本当の質問から生じているためです。
user-agent文字列は誰でも偽装できるため、これが重要であれば証拠ではなく手がかりとして扱ってください。各企業は、ボットのドキュメントと並んで、本物のボットがクロールに使うIPアドレスの範囲を公開しています。行動を起こす前に、訪問者のIPをその公開された範囲と照合することが、訪問が本物かどうかを確認する信頼できる方法です。
大多数のサイトでは、そうはなりません。これらのボットは検索エンジンのクローラーとおおむね同程度の、控えめで礼儀正しいペースでページを要求し、たいていのホスティングプランはまさにこの種のトラフィックを想定して設計されています。数千ページを抱える非常に大規模なサイトではサーバーログ上で気づくこともありますが、実際の訪問者のパフォーマンスに影響するほどになることはめったにありません。
できません。llms.txtは、一部のサイトがAIエージェント向けに読むべきコンテンツの一覧を整理するために公開する、別個の任意の取り決めです。上記のどのクローラーも、これが自分の取得内容やrobots.txtの読み方を変えるとは説明していません。実際にアクセスを許可したり拒否したりするのは、あくまでrobots.txtです。
最も多い間違い——たいていはコピー＆ペーストしたrobots.txtのテンプレートですべてをブロックしてしまい、意図せずボットをブロックしてしまうこと——を避けられる程度で十分です。自社のファイルがこれらのボットを誤ってブロックしていないか確認すること以外では、ほとんどの小規模事業者はクローラーのルールを細かく調整するより、営業時間やサービス内容、口コミが正確で読みやすいことを確認するほうが得るものが大きいでしょう。AIの可視性が全体としてどう機能するのか、より広い視点については[GrowliのAI可視性ガイド](https://growli.xyz/blog/ai-visibility)をご覧ください。