AI 爬虫全解析：GPTBot、ClaudeBot、PerplexityBot 都是谁
作者： Zakaria Reziki
Growli 首席执行官 · 2026年9月25日 · 9 分钟阅读
在 Zakaria Reziki 制定的编辑标准下借助 AI 撰写，并在通过来源与质量的自动检查后发布。
AI 爬虫是某家 AI 公司运行的一个小程序，用来访问网页，就像邮递员按地址路线投递——只不过这位“邮递员”会阅读页面上的内容并带走一份副本。 如果你曾查看过自己网站的访问日志，在真实访客旁边看到过“GPTBot”或“ClaudeBot”这样的名字，那就是这类程序之一，值得了解它当时在做什么。
大多数网站主都听说过其中一两个名字，并以为它们的工作方式都一样。其实不然。有些机器人在积累模型训练所依赖的长期知识；另一些则在顾客刚在 ChatGPT 或 Perplexity 里打出问题的那一两秒内，抓取单独一个页面。把两者混为一谈，正是我们最常见到的错误：企业在 robots.txt——这份告诉自动访客可以阅读网站哪些部分的小型文本文件——里笼统地屏蔽“那个 AI 机器人”，本想保护自己的内容，结果反而让自己变得无法被推荐。
本指南用通俗语言列出目前三大主流助手厂商各自记录在案的每一个爬虫，并附上你可以自行核实的来源，让这个选择出自有意为之，而不是无心之失。
各家公司的机器人，一家一家看
可以把 robots.txt 想象成店门上的一块牌子：“送货请走后门，顾客欢迎从前门进”。这只在每位访客都会读牌子时才有效——而且只有你清楚哪块牌子对应哪位访客，才能把他们分好组。以下就是真正在敲门的那些角色。
OpenAI 记录在案的机器人有四个。GPTBot 收集文本，用于帮助训练和改进其模型——相当于一位研究者在图书馆读书充实自己，而不是为了回答某个具体问题。OAI-SearchBot 则不同：它抓取页面，好让 ChatGPT 的搜索功能在用户提问时能找到并引用这些内容，角色更接近为网页建立索引的搜索引擎。ChatGPT-User 会在有人正与 ChatGPT 对话、且助手需要实时核实信息的那一刻访问页面——就像店员当着顾客的面跑去后仓确认是否有货。OAI-AdsBot 用于检查提交为 ChatGPT 广告的页面是否可以安全推荐。OpenAI 在其开发者网站上记录了这四个机器人及其对 robots.txt 的处理方式。
Anthropic（Claude 背后的公司）运行三个机器人。ClaudeBot 为模型训练收集页面，与 GPTBot 一样承担图书馆式阅读的角色。Claude-SearchBot 抓取页面，用来改进 Claude 在搜索结果中能够找到并引用的内容。Claude-User 会在 Claude 用户就某个页面提问的瞬间获取该页面——与 ChatGPT-User 一样，是“当着顾客的面核实”的行为。Anthropic 在其帮助中心说明了这三个机器人，以及如何分别控制它们。
Perplexity 只有两个。PerplexityBot 抓取并索引页面，好让 Perplexity 的回答能够链接到这些页面——同样是索引角色。Perplexity-User 则代表用户，在某个问题需要时实时获取页面。Perplexity 自己的文档列出了这两者并解释了区别。
五个机器人，三家公司
OpenAI、Anthropic 和 Perplexity 各是谁
GPTBot（OpenAI）
抓取内容以帮助训练 OpenAI 的模型，按自己的日程访问。
ChatGPT-User（OpenAI）
因为有人此刻正在与 ChatGPT 对话，而实时获取某个页面。
ClaudeBot（Anthropic）
抓取内容以帮助训练 Claude，按自己的日程访问。
Claude-User（Anthropic）
因为有人此刻正在与 Claude 对话，而实时获取某个页面。
PerplexityBot（Perplexity）
抓取并索引页面，好让 Perplexity 的回答能够链接到这些页面。
两种工作，而非一种：训练 vs. “此时此刻”
一旦看清这个模式，整个机器人家族就可以归为两个简单的类别——而这正是真正决定你该怎么做的区别。
训练与索引类机器人——GPTBot、OAI-SearchBot、ClaudeBot、Claude-SearchBot、PerplexityBot——按各自的日程访问网站，与任何单一顾客无关。这些公司正是靠它们，逐渐积累起对网络的整体认知和可检索的索引。屏蔽其中一个，相当于告诉那家公司“以后不要把我的新页面用于这个用途”——这是一个真实且有意义的选择，但生效很慢，也不会影响屏蔽之前已经学到的任何内容。
由用户触发的机器人——ChatGPT-User、Claude-User、Perplexity-User——之所以来访，是因为一个真实的人正在对话中，让助手此刻就去看看你的页面：核实当前价格、查看今日菜单，或确认你的营业时间。OpenAI 和 Perplexity 都明确表示，由于请求是由某个人发起的，这类访问可能不会像自动抓取那样遵循 robots.txt——其逻辑是，一个人提出直接问题，理应获得与她自己点击链接同样的访问权限。
这就是为什么把“那个 AI 机器人”当作一个不加区分的整体来屏蔽，往往会适得其反：你可能关掉了本可以让企业下个月更容易被发现的那个爬虫，却完全没能阻止明天有人实时抓取某个页面——因为那次抓取本来就不是你能屏蔽的对象。
阅读自己的服务器日志，看看真正来过的是谁
要检查这些情况是否发生在你的网站上，并不需要特殊软件。每台网络服务器都会保存访问日志——一份不断更新的清单，记录每位访客及其查看的内容——而每个爬虫都会在一行叫作 user-agent 的字段中表明身份，就像快递员会出示工牌一样。
如果你的网站托管环境支持命令行访问，你可以自己搜索这份日志。像在访问日志里搜索“GPTBot”“ClaudeBot”或“PerplexityBot”这样简单的操作，就能显示每一次访问的日期、请求的具体页面，以及服务器是放行还是拦截了这次访问。大多数主机控制面板（cPanel、Plesk 等）也提供点选式的“原始日志”或“访客日志”界面，如果你更愿意避开命令行的话。
找到记录后，有两点值得留意：某个机器人最近一次来访是什么时候（一个从未来访的训练机器人，意味着你的页面还没有成为那家公司训练数据的一部分），以及请求是成功还是被拦截——一个对 GPTBot 返回错误的页面，很可能也在向真实顾客的浏览器返回同样的错误，无论如何都值得知道。
写一份帮到你、而不是把你藏起来的 robots.txt
robots.txt 是放在网站根目录下的一份纯文本文件（yoursite.com/robots.txt），列出哪些自动访客可以阅读网站的哪些部分。Google 的抓取文档——虽是为其自家搜索爬虫编写，但文件格式为所有爬虫运营方共用——如果你从未打开过这类文件，是理解其语法最清楚的通俗说明。
对几乎所有本地或小型企业来说，最安全的起点就是最简单的做法：允许每个爬虫阅读每个公开页面，不为 AI 机器人单独写任何 Disallow 规则。被抓取带来的好处，是有机会被提及、被比较、被推荐；屏蔽带来的坏处，则是彻底从某次回答中消失，而你完全无从得知。“部分屏蔽”并不存在能让助手对你评价更有利的版本——它只能让你在那一个机器人眼中变得不可见。
真正的两种例外，是那些你原本也不希望出现在搜索引擎里的页面——私密的客户门户、内部管理页面、尚未发布的草稿——它们本就应该对所有爬虫（无论是否 AI）设置 Disallow 规则。以及那些脱离网站上下文（缺少设计和免责说明的衬托）单独阅读就确实容易误导的页面，这种情况很少见，但如果适用于你，值得再多看一眼。
如果你确实决定屏蔽某个特定机器人，请使用它的准确名称——是“GPTBot”，不是“OpenAI”，也不是“AI 机器人”——因为每个机器人只遵守写有它自己名字的规则。屏蔽 GPTBot 的规则对 OAI-SearchBot 没有任何影响，反之亦然；这种区分正是这些公司当初把机器人拆分开来的全部原因。
- 按准确名称逐一列出你想处理的机器人，每个机器人一行 User-agent。
- 除非某个页面确实私密，否则不要为 AI 机器人单独设置 Disallow 规则。
- 网站迁移后重新检查该文件——新主机商有时会自带屏蔽一切的默认 robots.txt。
- 发布后在浏览器中访问 yoursite.com/robots.txt 实测该文件；这里的拼写错误是无声的，很容易被忽略。
ROBOTS.TXT 决策
三个问题理清合理策略
这个页面是否已经在搜索结果中公开可见？
如果 Google 已经能展示这个页面，AI 爬虫读取它不会额外增加什么成本。
如果有人通过链接点开它，你会介意吗？
如果一位真人直接访问这个页面没有问题，那么读取同一页面的机器人也没有问题。
只有在此之后，才考虑 Disallow
把屏蔽留给那些你原本也想排除在搜索结果之外的页面——私密门户、草稿、管理界面。
FAQ
不会。GPTBot 只关系到 OpenAI 能否使用你的页面训练未来的模型。ChatGPT 的搜索功能使用另一个独立的爬虫 OAI-SearchBot，其对话中的实时获取则由 ChatGPT-User 完成——一条只写明 GPTBot 的规则对这两者都没有影响。若要把你的页面专门排除在 ChatGPT 搜索结果之外，还需要额外指定 OAI-SearchBot。
按日程自动运行的爬虫——GPTBot、ClaudeBot、PerplexityBot 以及两个索引机器人——都公开表示会遵守写有其准确名称的 robots.txt 规则。而由用户触发的实时机器人则不同：OpenAI 和 Perplexity 都明确说明，由于这次获取是某个人请求的，robots.txt 规则可能不会以同样的方式生效，理由是这个请求源自一个人的真实提问，而非按计划进行的抓取。
任何人都可以伪造 user-agent 字符串，所以如果这对你很重要，请把它当作线索而非证据。每家公司都会在其机器人文档旁公布真实机器人所使用的 IP 地址范围——在采取行动之前，将访客 IP 与该公开范围进行比对，是确认访问真实性的可靠方法。
对绝大多数网站来说不会——这些机器人请求页面的频率适度而克制，与搜索引擎爬虫大致相当，大多数主机套餐本就是为承受这类流量而设计的。一个拥有数千个页面的超大型网站或许能在服务器日志中察觉到，但这很少会大到足以影响真实访客的体验。
不能——llms.txt 是一些网站自行发布的独立、可选的约定，用来为 AI 智能体整理一份阅读清单，但上述任何一个爬虫都没有把它记录为会改变自己抓取内容或读取 robots.txt 方式的因素。真正决定授予或拒绝访问权限的，仍然是 robots.txt。
只需在意到足以避免最常见的那个错误：因为复制粘贴了一份禁止一切的 robots.txt 模板，而无意中屏蔽了某个机器人。除了检查自己的文件有没有误伤这些机器人之外，大多数小企业把精力放在确保营业时间、服务项目和评价准确、易读上，会比精雕细琢爬虫规则更值得。 若想更全面地了解 AI 可见度的整体运作方式，请参阅 [Growli 的 AI 可见度指南](https://growli.xyz/blog/ai-visibility)。