AIクローラーをブロックするとGoogleの検索順位に悪影響がありますか

要点——Google自身の言葉で

Googleは、自社のクローラーとフェッチャーについて具体的に説明するページを公開しており、こうした文書としてはこれ以上ないほど明確に線を引いています。Google-Extendedについて、そのページはこう述べています。「Google-Extendedは、サイトがGoogle検索に含まれるかどうかに影響を与えず、Google検索のランキング シグナルとしても使用されません」

Googlebotについては、同じページがその目的を「Googleの検索インデックスを構築するための情報を見つけること、その他の製品固有のクロール、および分析のため」にクロールすると説明しています。両方を運営する同じ会社によって、明確に述べられた2つの異なる役割です。

Google-Extendedとは実際には何なのか

ここが多くの人を驚かせる部分です。Google-Extendedは、独自の名札を付けてあなたのウェブサイトに現れる別のボットではありません。Googleのドキュメントはこの点について具体的にこう述べています。「Google-Extendedは、独立したHTTPユーザーエージェント文字列を介して動作するものではありません。代わりに、クロールは既存のGoogleユーザーエージェント文字列で行われます。robots.txtのユーザーエージェント トークンは制御の目的で使用されます」

簡単に言えば、Googlebotがすでに行っているのと同じクロールが、2つの目的を果たすことができるということです。Google-Extendedとは、そのすでにクロールされたコンテンツを、将来のGeminiモデルの学習やGeminiの回答の裏付けにも使ってよいかどうかについて、robots.txtファイルの中で与える指示です。これは既存の訪問の上に重ねられる許可設定であり、2番目の訪問者ではありません。

両者を独立して設定する方法——わかりやすく

GooglebotとGoogle-Extendedはそれぞれ別のrobots.txtルールで制御されているため、どちらも個別に選択できます。Google検索の結果で引き続き完全に表示されたいが、自社のコンテンツをGeminiの学習や回答に使わせたくないという企業は、まさにそれを実現できます。Googlebotのユーザーエージェントは通常どおり許可し、Google-Extendedのユーザーエージェントには別途Disallowルールを追加すればよいのです。

逆もまた真です——理論上は、Googlebotをブロックして（そしてGoogle検索から完全に姿を消すことになり、これを望む企業はほぼありませんが）Google-Extendedを許可することもできます。実際にそうする理由を持つ人はほとんどいないとしてもです。要は、これらは1つではなく2つの独立したレバーであり、一方を動かしてももう一方は動かないということです。

具体例：家族経営のパン屋

あるパン屋のオーナーが、「AIボットをブロックするとSEOに悪影響がある」とネットで読み、不安から、本当は締め出しておきたかったクローラーも含めて、Googleでの順位を危険にさらすよりはとすべてを開放したままにしていたと想像してください。

上記の事実があれば、彼女にはもっとすっきりした選択肢があります。robots.txtファイルで、Googlebotを明示的に許可して（以前とまったく同じように、パン屋の情報がGoogleで完全に検索可能な状態を保ちつつ）、同時にGoogle-Extendedを明示的に禁止する（メニューの説明や写真を将来のGeminiモデルの学習対象から除外する）ことができます——検索での表示には一切手を触れずにです。Geminiの学習に関する判断は、彼女がただ推測していた副作用ではなく、意図的で独立した選択になります。

なぜこの混同がこれほど多いのか、そして今後どう避けるか

この混同は理解できます。robots.txtは歴史的にほぼ検索順位のためだけのツールだったため、そこに追加される新しい行も順位に関するものに違いないと感じられるのです。Google-Extendedはその古いパターンを打ち破ります。Google自身の発言によれば、これは明示的に順位とは無関係な、初の主流のrobots.txtトークンなのです。

今後もっとも安全な習慣はシンプルです。推測しないことです。新しいクローラーやトークンが登場したら、何かを変更する前に、その企業自身のドキュメントを確認し、実際に何を制御しているのかを把握してください——それこそが本稿全体を貫く姿勢です。

FAQ