AI 爬虫流量对比 Googlebot：真实数据究竟是什么样

与 Googlebot 相比，AI 爬虫实际的访问频率如何

Vercel 的服务器承载着现代网络的很大一部分流量，它发布了自己的流量分析报告，涵盖其网络上整整一个月的数据。在那段时间里，Googlebot 产生了 45 亿次请求。GPTBot 产生了 5.69 亿次——约为其八分之一。Claude 的爬虫产生了 3.7 亿次，更少。

简单来说：Googlebot 在 Vercel 托管的网络上每访问一次，GPTBot 大约只访问其八分之一次，而 Claude 的爬虫访问得还要更少。这并非四舍五入的误差——它反映出 Google 在大规模构建和运行搜索基础设施这件事上，已经投入了长得多的时间。

抓取和带回访客是两件截然不同的事

原始抓取量回答的是“这个机器人访问的频率有多高”，但企业主通常更关心另一个问题：“这能给我带来客户吗？”Cloudflare 自称承载了全球网络流量的约五分之一，它用一周的时间测量了这个问题的两个方面，并公布了它所称的“抓取-引流比”——即一家公司的机器人每通过链接把一位真实访客带到某个页面，背后抓取了该页面多少次。

数字相当惊人。Cloudflare 发现 OpenAI 的整体比例接近 887 次抓取才带来 1 位被引荐的访客。Anthropic 的比例更高——在 Cloudflare 的测量中“接近 50000:1”。Perplexity 的产品本就是围绕带链接的回答构建的，比例要紧凑得多，约为 118:1——虽然依然悬殊，但在三者中最接近“抓取多少、带回多少访客”这种平衡。

为什么这个比例如此悬殊：大多数抓取是为了训练，而不是为了回答问题

抓取与引流之间差距如此之大，根源在于大部分抓取实际上是用来做什么的。Cloudflare 的同一项研究发现，“训练流量占 AI 机器人抓取量的近 80%”，远远超过用于实时回答某个具体问题所产生的流量——而后者恰恰是最有可能带有返回你网站链接的那类流量。

训练型抓取是为了笼统地构建或改进模型而收集内容——它们没有把任何访客送到任何地方的直接理由，因为没有某个具体的人提出某个具体的问题。而用户触发型抓取——比如ChatGPT-User或 Perplexity-User 因为有人提出了真实问题而访问某个页面——才是最有可能转化为真实访客的流量，但它只占全部抓取量中的一小部分。

这对一家真实的企业意味着什么

想象一位报税季中的本地会计师。她的网站每月可能会有成千上万次 Googlebot 访问，相比之下 AI 爬虫的访问只是零星几次——这是正常现象，并不代表她的网站在 AI 助手那里“失败”了。对她来说真正重要的，与其说是流量大小，不如说是两个更具体的问题：她潜在客户所使用的那些助手，到底有没有在抓取她的网站；以及当有人向那些助手提出一个直接问题时，助手是否足够了解她，能够在回答中点出她的名字。

像企业几十年来追逐 Googlebot 活动量那样去追逐 AI 爬虫的访问次数，在这里并不是正确的本能——这类流量目前根本还没有以同样的方式建立起来。我们关于“被抓取却未被引用”的诊断指南深入探讨了真正能预测被提及的因素，而这比原始访问次数更重要。

FAQ