付费墙、登录与 AI 爬虫：哪些内容应该保持开放

基本机制：机器人没有特殊通道

一个爬虫访问需要登录的页面时，遇到的登录界面和未订阅的真人用户一样。它没有用户名或密码可以提供，所以它看到的，正是一个匿名、未登录的访客所看到的——而在真正的登录墙后面，那就是实际内容什么都没有。

无论爬虫的文档记录有多完善、行为有多规范，这一点都成立。OpenAI 的 GPTBot、Anthropic 的 ClaudeBot 和 PerplexityBot 都被记录为遵守 robots.txt、公开抓取——它们没有一个描述过在受限区域进行身份验证的机制，因为那本就不是爬虫被设计来做的事。

唯一微妙的例外：Google 搜索与付费墙

Google 搜索是一个值得单独理解的部分例外，因为它表明这个问题以前就已经被解决过了，只是 AI 爬虫那边还没有。Google 记录了一套名为"弹性抽样"的机制：出版机构添加特定的结构化数据，把某篇文章标记为付费墙内容，作为交换，即便匿名访客会碰到付费墙，Googlebot 也被允许读取和索引完整文章——只要该出版机构同时也向匿名访客展示合理数量的免费文章。

这是一项真实的、有文档记录的安排，但它专属于 Google 搜索索引，通过一套特定的结构化数据协议建立起来。根据它们自己目前的文档，OpenAI、Anthropic 和 Perplexity 都没有为各自的爬虫发布过同等的机制——所以就今天而言，针对 AI 爬虫最安全的假设是：付费墙内容对它们来说依然不可见，就这么简单。

按企业类型梳理这个决定

一家 SaaS 公司通常已经有两个明确的层级：公开的营销页面和文档，相对于留给付费客户的应用内体验或高级帮助内容。营销页面和公开文档是保持开放的天然候选者——正是它们能赢得引用，也能最终促使新客户注册。应用内内容合理地可以继续留在现有登录之后，因为它本来就不是用来吸引新客户的。

媒体或出版类企业面临这种张力中最尖锐的版本，因为内容本身往往就是产品。一条合理的中间路径——即便没有对应的 AI 机制，也能呼应 Google 弹性抽样背后的逻辑——是让一批有分量的文章真正开放，而不仅仅是一个标题加一道付费墙，这样无论是人类读者还是爬虫，都能找到真正的实质内容；同时把最深入、最消耗资源的报道留给订阅用户。

本地服务型企业——牙医、水管工、餐厅——几乎从来没有什么好理由，把核心信息性内容放在登录之后。从商业角度看，那里通常没有什么值得保护的东西，而让它对爬虫和真人访客都完全开放，则有诸多好处。

实际上该怎么做

先列出你目前哪些页面需要登录、或在付费墙之后，然后诚实地问自己：这是一个我希望 AI 助手引用的页面吗？如果是，它就需要移到门槛之外；否则你就得接受，它永远不会成为 AI 助手能够讲述你的那部分内容。除非建立起 Google 为搜索所拥有的那种结构化数据安排——而截至今天，这种安排对 AI 爬虫来说还不存在——否则没有第三种选择。

FAQ