让你的网站对 AI 爬虫友好：一份技术清单

第一步：确认你的服务器最先实际发送的是什么

Vercel 自己对爬虫行为的分析明确指出，"目前没有一个主流 AI 爬虫会渲染 JavaScript"——这涵盖了 OpenAI、Anthropic、Meta、ByteDance 和 Perplexity 的机器人。这意味着，在任何脚本运行之前，你的服务器发出的那第一份 HTML 响应，对这些爬虫而言，实际上就是整个页面。

你可以自己检查一下：查看你页面的源代码（不是浏览器最终渲染出来的样子，而是原始 HTML），寻找你的关键事实——服务项目、价格、位置、营业时间。如果这些内容在原始文本中缺失，只有等页面在浏览器中加载完成后才出现，那么对这些爬虫来说，它们很可能是不可见的。

第二步：找出藏在交互元素里的内容

现代网站上一个常见的模式是：内容只有在访客点击某样东西后才加载——比如常见问题的手风琴折叠栏、产品详情标签页、"阅读更多"链接。如果这类内容只有在点击之后才由 JavaScript 获取或构建出来，那它和页面打开后自动加载的内容一样，带有同样的不可见问题。

设想一家律师事务所，它的业务领域介绍都藏在可点击的标签页后面，每个标签页的文字只有被点击时才动态加载出来。一个从不点击的爬虫——因为点击需要渲染，而根据上面引用的 Vercel 测试，OpenAI 的 GPTBot 和 Anthropic 的 ClaudeBot 都不会渲染 JavaScript——永远看不到默认打开的那个标签页之外的任何内容（如果有默认打开的标签页的话）。

第三步：让 HTML 本身保持干净和有条理

除了内容是否存在，HTML 的结构方式同样重要。真正描述每个部分的标题标签、读起来像完整句子的段落文本、以及从上到下合乎逻辑的顺序，都能帮助解析原始标记的爬虫理解自己读到的内容——就像一份组织良好的文档比一堵没有结构的文字墙更容易被人快速浏览一样。

这并不意味着网站必须看起来朴素——视觉设计和底层 HTML 结构是两个独立的层面，一个网站完全可以在视觉上丰富多彩的同时，底层依然发送干净、合理的标记。

第四步：不要把这个和结构化数据混为一谈

把两种不同的修复方式混为一谈很容易。结构化数据——也就是把电话号码标记为电话号码、把价格标记为价格的结构化标记——帮助一个已经能读懂你内容的系统更精确地理解它。而这份清单关注的是更底层的一步：确保内容本身首先以可读的形式存在，然后标签化才有意义。

一个页面可能拥有完美无瑕的结构化标记，包裹着一段不渲染的爬虫从一开始就看不到的文字，因为那段文字只在 JavaScript 运行之后才出现。先解决可读性问题，是杠杆效应最大的举措；结构化数据值得去做，但前提是这些文字本身首先是真正可以触及的。

完整清单，从头到尾

按顺序逐项检查——每一项都建立在确认前一项的基础上。

• 查看你页面的原始源代码，确认你的关键事实——服务项目、价格、位置、营业时间——出现在这段文本中，而不只是出现在浏览器最终呈现的画面里。
• 点击你关键页面上的每一个手风琴折叠栏、标签页和"阅读更多"元素，检查那部分内容是否原本就在原始 HTML 里，还是只在点击之后才出现。
• 询问建设你网站的人，你的首页和关键页面是服务器端渲染（在服务器上构建、完整发送）还是客户端渲染（由访客浏览器中的 JavaScript 构建）——服务器端渲染是对爬虫友好的默认选项。
• 一旦确认内容可读，再添加结构化数据作为下一层，帮助一个已经能读懂你内容的爬虫更精确地理解它。

FAQ