面向 AI 爬虫的 robots.txt 决策框架
作者： Zakaria Reziki
Growli 首席执行官 · 2026年9月30日 · 6 分钟阅读
在 Zakaria Reziki 制定的编辑标准下借助 AI 撰写，并在通过来源与质量的自动检查后发布。
针对 AI 爬虫，正确的 robots.txt 策略不是一份要允许或屏蔽的机器人名单——而是任何企业主都能在十分钟内想清楚的三个问题的答案：你希望 AI 助手推荐你吗，这些具体内容是否能直接为你带来收入，以及当新爬虫不断出现时，你能不能持续维护这份文件。大多数关于这个话题的指南，都会甩给你一张机器人名称表，外加每个机器人的建议规则，而这张表一旦有新爬虫出现，立刻就会过时。
本文给你的是其背后的思考框架，然后把它套用在三种不同类型的企业上，让你能用同样的推理方式，应对明年可能出现的任何新爬虫。
robots.txt 简介：一项真正的标准，而非建议
robots.txt 是网站根目录下的一个纯文本文件，告诉访问它的软件，网站的哪些部分可以抓取、哪些不可以。它不是 Google 的专有发明——它被正式标准化为机器人排除协议 RFC 9309，由负责标准化互联网基础运行机制的互联网工程任务组（IETF）发布。
每一个主流 AI 爬虫运营商都表示，其自动化抓取机器人会遵守这个文件——OpenAI 针对 GPTBot 和 OAI-SearchBot、Anthropic 针对 ClaudeBot 和 Claude-SearchBot，以及 Perplexity 针对 PerplexityBot，都在各自的文档中如此声明。用户触发型机器人——ChatGPT-User、Claude-User、Perplexity-User——是个例外，因为它们是在响应某个具体用户的直接请求时行动的。
问题一：你希望 AI 助手推荐你吗？
这听起来显而易见，但值得明确说出来，因为诚实的答案会因企业而异。牙医、水管工、本地餐厅——几乎所有顾客会向朋友、以及越来越多地向 AI 助手打听"该找谁"的企业——通常都希望答案是肯定的。而建立在独家经营或严格把控的销售流程之上的企业，可能确实有理由选择否定答案。
如果答案是肯定的，那就意味着应该允许那些支撑助手回答的爬虫：教会模型了解你存在的训练型爬虫，以及让它能够直接引用你的搜索式爬虫。
这套框架
三个问题，按顺序提问
1. 我希望 AI 助手推荐我吗？
大多数面向消费者和本地的企业会回答"是"。
2. 这些内容能直接给我带来收入吗？
营销页面通常在这里回答"否"；付费或专有内容通常回答"是"。
3. 我真的能维护这项策略吗？
一条保持更新的简单规则，胜过一套没人再去审视的复杂规则集。
问题二：这些内容能直接给你带来收入吗？
有些内容存在的唯一目的就是被发现和阅读——服务介绍页、博客文章、常见问题解答。而另一些内容本身就是产品：新闻出版机构仅限订阅者阅读的文章、SaaS 公司的高级文档、市场平台上详尽的商品信息。第二类内容需要更谨慎地回答这个问题，因为让它去训练别人的模型，等于是把你想卖的东西白白送了出去，而不是在为它做宣传。
这个问题常常会把同一个网站拆分成两种不同的答案：营销页面对抓取说"是"，而付费或专有内容说"不"——这完全合理，因为 robots.txt 规则可以针对具体路径来写，而不是只能应用于整个网站。
问题三：你真的能维护得下去吗？
一份今天点名列出十个具体机器人的 robots.txt 文件，会在第十一个机器人上线的那一天就过时。如果你团队里没有人会每隔几个月重新审视这份文件，那么一条更简单、更持久的策略——把文档完善的主流爬虫作为一个类别整体允许，每年审视两次——要胜过一套没人维护的复杂规则。
对自己实际的维护能力保持现实的认知，并不是一种妥协；一条你真正能持续保持最新的策略，比一条雄心勃勃却一年内就过时的策略，能更好地保护你。
把这个框架套用在三家真实企业上
一位本地水管工对问题一的回答是"是"（希望得到 AI 推荐），问题二几乎不适用（服务介绍页藏着不公开也赚不到钱），问题三也很简单（没什么需要维护的）。这套框架清晰地得出结论：大范围允许主流爬虫。
一家 SaaS 公司，对其营销网站和公开博客，在问题一上回答"是"；但对其出售访问权限的高级文档和产品内帮助内容，在问题二上给出谨慎的"不"。它的 robots.txt 最终为同一个域名下的两个不同部分设置了两条不同的规则——营销页面开放，付费文档封闭。
新闻出版机构往往给出最分层的答案：对其免费文章，在问题一上回答"是"，因为被引用能真正提升读者的认知度；但对其业务赖以维系的付费调查报道，在问题二上给出坚定的"不"。由于 Google-Extended 以及其他公司的对应机制将训练用途与搜索可见性分开，出版机构完全可以合理地允许对免费内容进行搜索式抓取，同时仍然拒绝让这些内容被用于模型训练。
实际案例
同一套框架为何会得出不同结论
本地水管工
大范围允许主流爬虫——没什么要保护的，却有一切可以获得的。
SaaS 公司
营销页面开放，高级文档封闭。
新闻出版机构
允许对免费文章进行搜索式抓取；禁止对付费内容用于训练。
FAQ
这是一项自愿遵守的标准——RFC 9309 定义了格式，但没有任何机制能在物理上强制爬虫遵守它。每个主流 AI 爬虫运营商都在自己的文档中表示，其自动化机器人会遵守 robots.txt，通过这份文件进行屏蔽或允许，是网站主表达意愿时公认的标准方式。
不一定。对于陌生的机器人，更合适的做法是快速查一下那家公司的文档，而不是直接自动屏蔽——本文中的框架（我是否想要被推荐、这些内容是否能直接赚钱、我能不能维护得下去）适用于任何爬虫，无论是已知的还是新出现的。
可以。robots.txt 规则是按路径生效的，所以同一个域名下的营销网站和付费产品区域，可以设置完全不同的抓取权限，就像上面的 SaaS 例子所展示的那样。
对大多数中小企业来说，一年两次是比较合理的默认频率——既足以捕捉到重要的新爬虫，又不会频繁到难以持续维护。
不能——允许访问是必要条件，但并不充分。被抓取只说明某个机器人能够读取你的内容；助手是否真的会引用你，取决于它在那里找到了什么。我们[关于"被抓取却从未被引用"的指南](https://growli.xyz/blog/crawled-but-not-cited-by-ai)专门讲了这个差距。