AI 爬虫到底是如何读取你的网站的

抓取与渲染：决定爬虫能看到什么的关键区别

每次访问网站的流程都一样：请求发送到你的服务器，服务器返回响应。这个响应就是 HTML——页面的原始骨架。现代网站往往故意让这个骨架接近空白，然后用 JavaScript——在访客浏览器中运行的小程序——之后再填充真正的文字、价格和图片。

人类访客的浏览器会自动执行这些 JavaScript，所以他们从不会注意到这个差距。“渲染”就是这一额外步骤的专业说法：执行 JavaScript 并构建出完整的页面。“抓取”则只是拿到原始 HTML，到此为止。大多数 AI 爬虫只做抓取，不做渲染。

想象一家水管工公司的网站：首页带着 Logo 和照片瞬间加载完成，但真正的服务清单——疏通下水道、热水器维修、紧急上门——却要等一秒后才由 JavaScript 加载出来。访客的浏览器把这个填充过程做得如此流畅，以至于他们从未察觉这其实是两步。而一个只做抓取的 AI 爬虫，看到的只是那个几乎空白的外壳，到此为止。对这个爬虫来说，服务清单根本不存在。

逐个认识这些机器人：它们到底是做什么的

“AI 爬虫”并不是一个单一机器人——而是几家公司，每家都运营着多个用于不同任务的机器人。搞清楚谁是谁很重要，因为屏蔽一个并不会屏蔽其他的。

OpenAI 记录了四个不同的机器人：GPTBot 收集可能用于训练其模型的内容；OAI-SearchBot 爬取网页，以决定在 ChatGPT 内部搜索时展示什么；OAI-AdsBot 检查某个具体广告落地页的安全性；ChatGPT-User 则与前三者不同——它只在真实用户向 ChatGPT 提出直接问题时才实时访问某个页面，OpenAI 自己的文档也指出，由于是用户明确请求了这次抓取，“robots.txt 的规则可能并不适用”于这个机器人。

Anthropic 也采用了类似的划分：ClaudeBot 收集内容是“为了提升我们生成式 AI 模型的实用性和安全性”，Claude-SearchBot 爬取网页是为了改进 Claude 内部类似搜索的结果，而 Claude-User 只有在用户的问题引导它前往某个页面时才会抓取。Perplexity 也采用相同的模式：PerplexityBot 爬取网页以展示并链接网站，而 Perplexity-User 只在回应用户问题时才抓取页面。

这些机器人都不会渲染 JavaScript。根据上述这些公司自己的文档，所有这些机器人都应当遵守 robots.txt——用户触发的机器人除外，因为它们的存在本身就是因为有一个真实的人正在等待回应。

Googlebot 是例外，值得了解原因

如果 AI 爬虫都不渲染 JavaScript，为什么这感觉起来反而不寻常？因为 Googlebot 会渲染。Google 记录说 Googlebot 的存在“是为了寻找信息，以构建 Google 的搜索索引”，而为了做好这件事，Google 花了很多年打造了一套完整的渲染管线——本质上就是为它想完全理解的每个页面，大规模运行一个真实浏览器。

这是一套真正昂贵的基础设施，而目前 AI 公司还没有为它们的爬虫建立起自己的同类系统。Vercel 自己的分析说得很直白：“目前没有一个主流 AI 爬虫会渲染 JavaScript，包括 OpenAI（OAI-SearchBot、ChatGPT-User、GPTBot）、Anthropic（ClaudeBot）、Meta（Meta-ExternalAgent）、字节跳动（Bytespider）、Perplexity（PerplexityBot）。”同一份分析还发现，这些爬虫有时会抓取网站的 JavaScript 文件——ChatGPT 的机器人在约 11.5% 的请求中这样做，Claude 的机器人约为 23.8%——但抓取文件并不等于执行文件。它们依然不会运行它。同期，Vercel 测得 Googlebot 每月请求量为 45 亿次，而 GPTBot 为 5.69 亿次、Claude 的爬虫为 3.7 亿次——仅是其中一小部分。

这个差距不一定会永远存在。但对今天就要决定网站该怎么做的企业主来说，这是当下的现实，而不是一条永恒的规律——值得偶尔重新审视，但不必为此失眠。

这对一个真实网站意味着什么代价

回到那家水管工公司的网站。如果服务清单、服务区域地图和客户评价，都是在首屏加载完成后才通过 JavaScript 加载出来的，那么当有人向 AI 助手询问“我附近谁能做紧急水管维修”时会发生什么呢：助手的爬虫在某个时刻抓取了这个页面，看到一个近乎空白的外壳，然后就继续前进了。它从未了解到这家水管工公司到底提供哪些服务。

这不是什么无关紧要的技术细节——说白了，这就是在 AI 助手的世界图景里“存在”与“不存在”的区别。一个竞争对手的网站，如果把服务信息直接放进服务器的第一次响应里，那它就是更容易被推荐的那一个，而这与它的业务本身是否更优秀毫无关系。

如何检查你自己的网站到底向爬虫展示了什么

你不需要懂技术也能自己检查，只需要大约两分钟。

• 右键点击你的首页，选择“查看网页源代码”（或按 Ctrl+U / Cmd+Option+U）。你看到的内容非常接近爬虫抓取到的原始 HTML。如果你的服务、价格或关键信息不在这段文字里，那么 AI 爬虫可能同样读不到它们。
• 暂时在浏览器中关闭 JavaScript（大多数浏览器的开发者工具或设置里都有这个选项），然后重新加载首页。凡是消失不见的内容，正是不渲染的爬虫从一开始就永远看不到的内容。
• 直接问问负责搭建或维护你网站的人：“我们的核心内容——服务、价格、位置、营业时间——是在服务器的第一次响应中发送的，还是之后由 JavaScript 填充的？”如果诚实的答案是“之后才填充”，那这就是首要该修复的问题。

接下来该怎么做

这一切都不需要重建你的网站。它意味着确保最重要的那些信息——你做什么、在哪里、多少钱、为什么该选你——在任何 JavaScript 运行之前，就已经出现在服务器的第一次响应里。结构化数据和干净、对爬虫友好的页面结构正是建立在这个基础之上，而 Growli 会检查 AI 助手今天是否真的能看到并推荐你的企业——而不只是检查你的网站在浏览器里是否好看。

FAQ