ChatGPT 回答之前，会读你的网站吗？

两个常被混为一谈的问题

被提到和被抓取是两回事。AI 助手可能凭训练时学到的内容说出你的应用名，却从未请求过你的网站；它也可能在回答时抓取了你的网站，却仍然没有提到你。测了其中一个，对另一个毫无说明，而这方面的大多数建议都悄悄把两者混在了一起。

第一个问题我们已经在测量并公开结果，包括为零的数据。这一页讲的是第二个：在固定时间段内，究竟有哪些爬虫真正请求了这个域名的页面。

截至 2026-09-21 的 14 天里来了谁

更正（2026 年 10 月 11 日）：如何解读这张表里的“用途”

本页的表格和正文保持 2026 年 9 月 21 日发布时的原样。没有重新测量；这条说明更正的是其中三处的解读方式。

Google-Extended 不是爬虫。Google 的爬虫文档（页面最后更新于 2026 年 7 月 14 日，查阅于 2026 年 10 月 11 日）写道：“Google-Extended doesn't have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings; the robots.txt user-agent token is used in a control capacity.”也就是说，Google-Extended 不会用自己的 user agent 发出请求，抓取由 Google 现有的爬虫完成。它只是 robots.txt 里的一个控制令牌：决定 Google 已经抓取的页面能否用于训练 Gemini 模型、能否用作其回答的依据，并不影响 Google 搜索。它不可能出现在访问日志里，所以上表中它那一行不是观测结果，也不应算作没有到访的代理。这段时间里 Google 的请求记在 Googlebot 一行：797 次。

“实时回答”这个标签混了两种不同的用途。按照各运营方自己的文档（OpenAI、Perplexity、Anthropic、DuckDuckGo 和 Mistral，查阅于 2026 年 10 月 11 日），OAI-SearchBot、PerplexityBot 和 Claude-SearchBot 是搜索爬虫：它们按自己的节奏建立索引，供助手之后检索。ChatGPT-User、Claude-User、Perplexity-User 和 MistralAI-User 则是在用户刚提出问题时去抓取页面；DuckAssistBot 为 DuckDuckGo 的 AI 辅助回答做实时抓取。

这样读下来，下一节的标题说得比日志显示的更多。在提问时抓取页面的 5 个代理一个都没有来，全部为零。Perplexity 来的是它的搜索爬虫，共 10 次。OpenAI 和 Anthropic 的搜索爬虫没有来。为零的 7 个“实时回答”代理，就是这 5 个加上 2 个搜索爬虫。

“AI 请求”的总数包含什么。下文计算 Markdown 副本占比时用的 2244 次 AI 请求，是实际到访的 6 个代理之和：Amazonbot 1140、ClaudeBot 901、Applebot 121、GPTBot 67、PerplexityBot 10、Bytespider 5。Googlebot 和 bingbot 不在其中。本表标为搜索索引的 Amazonbot 和 Applebot 则算在内，占 2244 次中的 1261 次。数据文件没有记录这些副本是哪个代理请求的，所以 35% 无法按代理拆分。

OpenAI 的实时回答代理从未出现，Perplexity 的来了

各家运营方会为不同任务发布不同的代理：一个收集网页用于训练，另一个在回答用户实时提问时抓取页面。在这段时间里，OAI-SearchBot、ChatGPT-User、Claude-User、Perplexity-User、Claude-SearchBot、DuckAssistBot、MistralAI-User 的记录都是零请求——OpenAI 的两个实时回答代理都在其中。PerplexityBot 则来了 10 次。

所以准确的说法并不是“AI 助手从不抓取”——其中一家确实会抓，大约每天一次。更准确的范围要窄得多：就这个域名、这段时间而言，没有任何自称 OpenAI 的代理在回答时抓取过本站。我们起初把这理解成“ChatGPT 看不到我们的页面”，下一节会说明这个理解为什么错了。

最容易想到的反驳是：是不是我们屏蔽了它们？没有。OAI-SearchBot、ChatGPT-User、Claude-User、Perplexity-User、Claude-SearchBot、DuckAssistBot、MistralAI-User 都在我们的 robots.txt 里被逐一列出并设为 Allow: /，训练爬虫也一样。零是它们自己的行为，不是我们的配置——在把自己日志里的零当成结论之前，先检查一下你的 robots 文件。

零次抓取，ChatGPT 照样给了我们链接

2026 年 9 月 21 日，我们在关闭记忆的临时对话中问 ChatGPT：“free tool to check my iOS app's keyword ranking in the App Store”。它把我们的免费排名查询工具列为五个结果中的第二个，并直接链接到 /tools/rank-check，还带上了 utm_source=chatgpt.com。我们自己的访问记录在过去两周里一直有来自 chatgpt.com 的访客——其中两位随后注册了账号。

也就是说，访问日志里的零和这次引用同时成立。这个回答是从 ChatGPT 已有的搜索索引中拼出来的，而不是来自某个自称 OpenAI 代理的实时请求。对网站主来说，结论很实际：日志里是零，并不代表 ChatGPT 看不见你；被引用了，也不代表它今天读过你的页面。

是哪个索引？OpenAI 帮助中心说，ChatGPT 搜索“有时会与其他搜索服务商合作”，并指向 Microsoft 的隐私声明——也就是 Bing。在这段时间里，bingbot 请求了本站页面 435 次，全部正常返回；可就在同一天，用我们免费工具对比页的完整标题在 Bing 上搜索，结果里没有本域名的任何页面。我们无法判断这次引用来自哪个索引，但可以确定：抓取和收录是两个独立的步骤，新网站通常卡在第二步。

三分之一的爬虫流量去了纯文本副本

这里的每个页面都有一份 Markdown 副本，地址后缀为 .md.txt，另外还有 llms.txt 和 llms-full.txt。同一时段内，爬虫对这些副本发起了 788 次请求，而 AI 请求总数为 2244 次——占全部请求的 35%。HTML 内容页则是 1083 次。

我们搭这一层时只是假设会有人用，当时并没有任何证据。事实上它被大量使用——没有超过 HTML，但在同一个数量级，而发布这一层几乎没有成本。从这些数据看，它不是摆设。

哪些值得做，哪些不值得

值得做

为页面发布一份干净的纯文本副本，让你自己的描述保持客观准确，并确保训练爬虫能找到的是那些介绍你应用的页面——第三方的评测文章比你自己的营销内容更重要。一个月后再测一次，而不是想当然地认为已经生效。

进入 AI 助手所借用的搜索索引。除了 Google Search Console，也要在 Bing Webmaster Tools 里验证网站，并向两边都提交 sitemap——被抓取不等于被收录，不在索引里的页面无法被检索出来用于回答。然后在那里搜索你自己页面的完整标题：这是成本最低的检查。

不值得做

为了追逐根本没有发生的实时抓取，每周重写页面。购买号称能“针对 ChatGPT 优化”的工具，却不告诉你它所测的引擎到底有没有请求过你的域名。还有，把单次测量——无论是我们的还是你的——当成趋势。

延伸阅读