AIクローラー向けrobots.txt決定フレームワーク
著者 Zakaria Reziki
最高経営責任者 — Growli · 2026年9月30日 · 6 分で読了
Zakaria Reziki が定めた編集基準のもと、AI の支援を受けて執筆し、自動での情報源確認と品質チェックを経て公開しています。
AIクローラーに対する正しいrobots.txtポリシーとは、許可またはブロックするボット名のリストではなく、どんな事業者でも10分で答えられる3つの質問への答えだ——AIアシスタントに推薦されたいか、この特定のコンテンツは直接収益を生むか、新しいクローラーが登場するたびにこのファイルを更新し続けられるか。このテーマに関するガイドの大半は、ボット名の一覧表に推奨ルールを添えて渡してくるだけで、新しいクローラーが登場した瞬間に古くなってしまう。
この記事では代わりにその背後にあるフレームワークを示し、それを3種類の異なる事業に当てはめることで、来年どんなクローラーが現れても同じ論理を使えるようにする。
robots.txtの基本:提案ではなく本物の標準
robots.txtは、ウェブサイトのルートに置かれるプレーンテキストファイルで、訪問してくるソフトウェアにサイトのどの部分をクロールしてよいか、してはいけないかを伝える。これはGoogle独自の発明ではない——インターネットの基礎的な仕組みを標準化する団体であるインターネット技術タスクフォース(IETF)によって公開された、Robots Exclusion Protocol、RFC 9309として正式に標準化されている。
主要なAIクローラー事業者はいずれも、自動クロールボットがこのファイルを尊重すると表明している——OpenAIはGPTBotとOAI-SearchBotについて、AnthropicはClaudeBotとClaude-SearchBotについて、PerplexityはPerplexityBotについて、それぞれ自社のドキュメントで明記している。ユーザーの操作によって動くボット——ChatGPT-User、Claude-User、Perplexity-User——は例外で、特定のユーザーの直接のリクエストに応じて動作するためだ。
質問1:AIアシスタントに推薦されたいか?
当たり前に聞こえるかもしれないが、はっきり言葉にする価値がある。正直な答えは事業によって変わるからだ。歯科医、配管業者、地元のレストラン——顧客が友人に、そして今では増々AIアシスタントに「誰に頼めばいい?」と尋ねるようなほとんどすべての事業は、たいてい答えが「はい」であってほしいと考える。一方、専属性や厳密に管理された販売プロセスの上に成り立つ事業には、「いいえ」と答える正当な理由がある場合もある。
答えが「はい」であれば、それはアシスタントの回答を支えるクローラーを許可する方向を示している。モデルにあなたの存在を教える学習用クローラーと、モデルが直接あなたを引用できるようにする検索タイプのクローラーだ。
このフレームワーク
3つの質問を順番に
1. AIアシスタントに推薦されたいか?
消費者向け・地元向け事業の大半は「はい」と答える。
2. このコンテンツは直接収益を生むか?
マーケティングページはここで「いいえ」と答えることが多く、有料または専有コンテンツは「はい」と答えることが多い。
3. 本当にこのポリシーを維持できるか?
最新に保たれたシンプルなルールは、誰も見直さない複雑なルール群に勝る。
質問2:このコンテンツは直接収益を生むか?
一部のコンテンツは、見つけられて読まれることだけを目的に存在する——サービスページ、ブログ記事、よくある質問などだ。一方で、コンテンツ自体が商品であるケースもある。報道機関の購読者限定記事、SaaS企業のプレミアムドキュメント、マーケットプレイスの詳細な商品情報などだ。後者のカテゴリーのコンテンツには、より慎重な答えがふさわしい。他人のモデルの学習に使わせることは、それを宣伝するのではなく、売ろうとしているものをただで渡してしまうのと同じだからだ。
この質問によって、同じウェブサイトでも二つの異なる答えに分かれることがよくある。マーケティングページはクロールに「はい」と答え、有料または専有コンテンツは「いいえ」と答える——これは完全に正当なことで、robots.txtのルールはサイト全体だけでなく、特定のパスごとに書くことができるからだ。
質問3:本当にこれを維持できるか?
今日、特定の10個のボットを名指ししたrobots.txtファイルは、11個目のボットが登場した日に古くなる。チームの誰も数か月ごとにこのファイルを見直さないのであれば、よく文書化された大手クローラーをカテゴリーとして許可し、年に2回見直すというよりシンプルで持続可能なポリシーの方が、誰も維持しない複雑なルール群より優れている。
自分たちの実際のメンテナンス能力について現実的であることは、妥協ではない。本当に最新の状態を保てるポリシーの方が、1年で古くなってしまう野心的なポリシーよりも、あなたをよく守ってくれる。
フレームワークを3つの実際の事業に当てはめる
地元の配管業者は質問1に「はい」と答える(AIに推薦されたい)。質問2はほとんど当てはまらない(サービスページは秘密にしていても何も稼がない)。質問3は簡単だ(維持すべきものがほとんどない)。このフレームワークは明確に「大手クローラーを広く許可する」という結論に至る。
SaaS企業は、マーケティングサイトと公開ブログについては質問1に「はい」と答えるが、アクセス権を販売しているプレミアムドキュメントや製品内のヘルプコンテンツについては、質問2に慎重な「いいえ」と答える。その結果、robots.txtは同じドメイン内の二つの異なる部分に対して異なる二つのルールを持つことになる——マーケティングページは開放、有料ドキュメントは閉鎖だ。
報道機関は、しばしば最も細やかな答えを出す。無料記事については質問1に「はい」と答える。引用が読者の間で本当の認知度を高めるからだ。しかし、事業の基盤となっている有料の調査報道については、質問2にきっぱりと「いいえ」と答える。Google-Extendedや他社の同等の仕組みが学習と検索での可視性を分けているため、報道機関は無料コンテンツについては検索タイプのクロールを許可しつつ、同じコンテンツがモデルの学習に使われることは拒否するという対応が、十分に筋の通ったものとして成り立つ。
適用例
同じフレームワークがどう異なる結論に至るか
地元の配管業者
大手クローラーを広く許可する——守るものはなく、得るものしかない。
SaaS企業
マーケティングページは開放、プレミアムドキュメントは閉鎖。
報道機関
無料記事の検索タイプのクロールは許可し、有料コンテンツでの学習はブロックする。
AI がお客様の事業について何を伝えているかを確認
Growli は ChatGPT、Gemini、Claude、Perplexity における AI 回答でのシェアを測定し、あらゆるギャップを優先アクションに変えます。
はじめるFAQ
これは任意の標準だ——RFC 9309がフォーマットを定義しているが、クローラーに物理的に従わせる仕組みは何もない。主要なAIクローラー事業者はいずれも、自社の自動ボットがrobots.txtを尊重すると自社ドキュメントで表明しており、このファイルを通じてブロックまたは許可することが、サイト所有者が意思を表明するための標準的かつ広く受け入れられた方法となっている。
必ずしもそうではない。見慣れないボットには、自動的にブロックするのではなく、まずその企業のドキュメントを手早く確認する方が適切だ——この記事のフレームワーク(推薦されたいか、このコンテンツは直接収益を生むか、維持できるか)は、既知か新規かを問わず、あらゆるクローラーに当てはまる。
可能だ。robots.txtのルールはパスごとに適用されるため、同じドメイン上でもマーケティングサイトと有料製品エリアとで、まったく異なるクロール許可を設定できる。上記のSaaSの例がそれを示している。
ほとんどの中小企業にとって、年に2回が妥当なデフォルトだ——主要な新しいクローラーを捉えるには十分な頻度でありながら、実際に維持可能なほど十分に間隔が空いている。
いいえ——アクセスを許可することは必要条件であって、十分条件ではない。クロールされるということは、ボットがコンテンツを読めたという意味に過ぎない。アシスタントが実際にあなたを引用するかどうかは、そこで何を見つけるかによって決まる。この差について、[クロールされても引用されない理由についてのガイド](https://growli.xyz/blog/crawled-but-not-cited-by-ai)で詳しく扱っている。