屏蔽 AI 爬虫会损害你的 Google 排名吗？

简而言之，用 Google 自己的话说

Google 发布了一个专门描述其爬虫和抓取工具的页面，并尽可能清楚地划清了界限。关于 Google-Extended，该页面写道：“Google-Extended 不会影响网站在 Google 搜索中的收录，也不会被用作 Google 搜索中的排名信号。”

关于 Googlebot，同一页面将其用途描述为爬取“以查找用于构建 Google 搜索索引的信息，执行其他特定产品的抓取，以及用于分析”。两项不同的任务，由同一家公司清楚地分别说明。

Google-Extended 到底是什么

这是大多数人最意外的地方：Google-Extended 并不是一个带着自己名字牌出现在你网站上的独立机器人。Google 的文档对此说得很具体——“Google-Extended 不通过单独的 HTTP 用户代理字符串运行。相反，抓取是使用现有的 Google 用户代理字符串完成的；robots.txt 中的用户代理令牌用于控制用途。”

简单来说：Googlebot 本来就在做的同一次抓取，可以服务于两个目的。Google-Extended 就是你在 robots.txt 文件中给出的指令，用来说明这份已经被抓取的内容是否也可以用于训练未来的 Gemini 模型、以及支撑 Gemini 的回答。这是叠加在已有访问之上的一项权限设置，而不是第二个访客。

如何用简单的方式分别设置两者

由于 Googlebot 和 Google-Extended 分别受不同的 robots.txt 规则约束，你可以分别对两者做出选择。如果一家企业想在 Google 搜索结果中保持完全可见，但不希望自己的内容被用来训练 Gemini 或支撑其回答，完全可以这样做：照常允许 Googlebot 用户代理，然后为 Google-Extended 用户代理单独添加一条 Disallow 规则。

反过来也同样成立——理论上你可以屏蔽 Googlebot（这会让你彻底从 Google 搜索中消失，几乎没有企业会想这样做），同时允许 Google-Extended，尽管在实践中几乎没人有理由这样做。关键在于，这是两个独立的开关，拨动其中一个并不会牵动另一个。

一个具体的例子：一家家庭经营的面包店

想象一位面包店老板，她在网上看到“屏蔽 AI 机器人会损害你的 SEO”，出于担心，她把所有东西都完全开放，而不愿冒险影响自己的 Google 排名——包括她原本更想屏蔽的爬虫。

有了上面的这些事实，她的选择就清晰多了：她的 robots.txt 文件可以明确允许 Googlebot（让她的面包店在 Google 上依然完全可被搜索到，和以前一样），同时明确禁止 Google-Extended（将她的菜单描述和照片排除在未来 Gemini 模型的训练之外）——而完全不影响她在搜索中的可见度。关于是否让 Gemini 训练的决定，从她只能猜测的副作用，变成了一个刻意做出的独立选择。

为什么这种混淆如此常见，以及今后该如何避免

这种混淆是可以理解的：长期以来，robots.txt 几乎只是一个搜索排名工具，因此任何新添加的一行都让人觉得也一定和排名有关。Google-Extended 打破了这种旧模式——按照 Google 自己的说明，它是第一个明确与排名无关的主流 robots.txt 令牌。

今后最稳妥的做法很简单：不要靠猜测。每当出现新的爬虫或令牌，在做任何改动之前，先查看该公司自己的文档，了解它到底控制什么——这正是本文所遵循的原则。

FAQ