ペイウォール、ログイン、AIクローラー:何を開放しておくべきか

基本的な仕組み:ボット専用の扉はない

必須のログインの奥にあるページを訪れたクローラーは、未登録の人間が目にするのと同じサインイン画面に出会う。提示できるユーザー名もパスワードもないため、匿名のログアウト状態の訪問者が見るものとまったく同じものを見る——それは本物のログインの壁の奥では、実際のコンテンツのかけらもないということだ。

これは、そのクローラーがどれだけよく文書化されていようと、行儀よく振る舞っていようと変わらない事実だ。OpenAIのGPTBotも、AnthropicのClaudeBotも、PerplexityBotも、いずれもrobots.txtを尊重し公然とクロールすると文書化されている——そのどれも、制限されたエリアに認証して入る仕組みについては説明していない。なぜなら、それはクローラーが設計されている目的ではないからだ。

唯一の微妙な例外:Google検索とペイウォール

Google検索は、それ自体を理解しておく価値のある部分的な例外だ。なぜなら、この問題がすでに一度解決されたことがある——ただしまだAIクローラーによってではない——ことを示しているからだ。Googleは柔軟なサンプリングと呼ばれるシステムを文書化している。出版社が記事をペイウォール付きと示す特定の構造化データを追加すると、その見返りとして、匿名の訪問者ならペイウォールに突き当たるはずの記事全文を、Googlebotは読み、インデックスすることが許される——ただし、出版社が匿名の訪問者にも妥当な数の無料記事を見せていることが条件だ。

これは実在する、文書化された優遇措置だが、Google検索のインデックス作成に特化しており、特定の構造化データの取り決めを通じて構築されている。OpenAI、Anthropic、Perplexityは、それぞれの現行の文書を見る限り、自社クローラー向けにこれに相当するシステムを公表していない——したがって現時点でAIクローラーについて最も安全な前提は、ペイウォール付きのコンテンツはそれらにとって見えないままだ、ということに尽きる。

事業の種類ごとにこの判断を整理する

SaaS企業にはすでに二つの明確な層があることが多い。公開のマーケティングページやドキュメントと、有料顧客向けのアプリ内体験やプレミアムヘルプコンテンツだ。マーケティングページと公開ドキュメントは、開放しておく自然な候補だ——引用を獲得し、そもそも新規顧客を登録へと導くのはそれらだからだ。アプリ内コンテンツは、どのみち新規顧客を惹きつけるためのものではないので、既存のログインの奥に留まっても合理的だ。

メディアや出版業は、コンテンツ自体がしばしば製品そのものであるため、この緊張関係の最も先鋭な形に直面する。AIに相当する仕組みがない中でも、Googleの柔軟なサンプリングの背後にある論理を映した妥当な中間策はこうだ。見出しとペイウォールだけではなく、まとまった数の記事を本当に開放しておくことで、人間の読者にもクローラーにも見つけられる実質的な内容があるようにしつつ、最も深く、最も手間のかかる取材は購読者のために取っておく。

地元のサービス業——歯科医、配管業者、レストラン——が、中核となる情報コンテンツを何であれログインの奥に置く正当な理由を持つことはめったにない。事業の観点から守る価値のあるものは通常そこにはなく、クローラーにも人間の訪問者にも完全に開放しておくことで得られるものしかない。

実際にすべきこと

まず、現在ログインを要求している、あるいはペイウォールの奥にあるページを一覧にし、それぞれについて正直に問いかけよう。これはAIアシスタントに引用してほしいページだろうか、と。答えがイエスなら、そのページは門の外に移す必要がある。さもなければ、それが決してAIアシスタントがあなたについて語れる内容の一部にはならないことを受け入れる必要がある。Googleが検索のために持っているような構造化データの優遇措置を自ら築くのでもない限り、第三の選択肢はない——そしてそれは今日の時点で、AIクローラー向けにはまだ存在しない。

FAQ