你应该屏蔽 AI 爬虫吗？对你的企业来说，真正的利弊权衡

屏蔽到底能保护什么

屏蔽 AI 爬虫最清晰、最站得住脚的理由是对训练数据的控制。如果一个爬虫从未见过你的内容，那这部分特定内容就不可能成为某个模型学习素材的一部分——这是一个直接的、机械性的事实，不是程度问题。对于一家内容本身就是其产品的企业——一门付费课程、一份研究报告、付费墙后的新闻报道——这是一种真实且正当的保护，而不是反应过度。

屏蔽一个爬虫，也会去掉它的请求所增加的那一点点服务器负载，不过对大多数中小企业网站而言，相比普通的人类流量，这点负载几乎不会被察觉，也不应该单凭这一点就成为决定性因素。

屏蔽到底要付出什么代价

代价是训练数据保护的另一面：一家企业如今越来越多地是通过 AI 助手给出的答案、而非传统的搜索结果被人发现的，如果它屏蔽了某个助手的爬虫，那个助手就根本不可能提到它。如果一个爬虫从未读到你的服务页面，无论你的实际服务有多好，它都无从知道你的存在。

值得诚实地审视一下，你要保护的东西和你要放弃的东西，规模到底有多大——用真实的测量数据，而不是靠猜测。我们关于抓取量与引流量的拆解涵盖了 Cloudflare 的一项发现：相较于它们抓取的频率，AI 爬虫目前每次抓取带回的访客相对较少——所以，对大多数企业来说，你通过屏蔽"保护"的那部分推荐流量，往往比你在 AI 助手回答中放弃的那部分曝光度要小。

答案真正清晰的那些情形

有一小部分情形可以干脆利落地解决，不必过多纠结。如果一家企业的全部价值都在于专有的、设有付费墙的研究或分析内容，那么它就有充分理由屏蔽针对这部分特定内容的训练爬虫——这是产品本身，而不是产品的营销材料。如果一家本地服务型企业——牙医、水管工、餐厅——没有任何内容设有付费墙，那么它就有充分理由大范围允许主流爬虫，因为确实没什么可保护的，却有真实的曝光度可以获得。

大多数企业介于两者之间：一部分内容纯粹是推广性质的，另一部分内容则更接近产品本身——这正是我们的 robots.txt 决策框架旨在帮你逐路径厘清的情形，而不是一刀切的统一选择。

这个决定与什么无关

有一点值得明确排除：这个决定与你的 Google 搜索排名毫无关系。Google 自己的文档明确指出，其 AI 训练控制机制 Google-Extended "不会影响网站在 Google 搜索中的收录情况，也不会被用作排名信号"——其他每一个主要运营商也都将其训练爬虫与影响其如何展示或引用你的爬虫区分开来。无论朝哪个方向，出于对排名的恐惧而做出这个决定，都意味着这个决定的依据完全错了。

同样值得注意的是，应该定期重新审视这个决定，而不是把它当作一成不变的事情。一家设有付费墙的出版机构如果开放了一个推广板块，或者一家 SaaS 公司把文档从付费改为免费，那么这个权衡中适用于那部分内容的那一面也就随之改变——正确的 robots.txt 策略应该跟随内容今天真实的样子，而不是一次性做出、便抛诸脑后的选择。

FAQ