决定你会不会被 AI 引用的，是检索类爬虫，不是训练类爬虫。实测 9 天日志：训练类爬虫（ClaudeBot、GPTBot）的来访量常超过检索类（Googlebot、Bingbot、PerplexityBot、OAI-SearchBot），但前者抓走的内容进入训练数据，不会被检索、不产生引用。
只看「AI 爬虫总量」会得到严重误导的结论。提交成功也不等于已被收录——这两件事之间有数天到数周的时差。
一、9 天实测数据
2026 年 10 月 6 日至 14 日，我们对自己站点的独立访问日志做了逐日审计。日志为 JSON 格式，逐条记录了访问时间、来源 IP、User-Agent、请求路径、状态码与响应字节数。
| 日期 | 有效外部请求 | 真实 AI 爬虫来访 |
|---|---|---|
| 10-06 | 70 | 0 |
| 10-08 | 165 | 13 |
| 10-10 | 323 | 15 |
| 10-12 | 291 | 75 |
| 10-14 | 155 | 45 |
同一批爬虫内部差异极大。以 10-12 这个峰值日为例，75 次 AI 来访的构成是：
- 检索类 39 次：Googlebot 22 次、Bingbot 14 次、PerplexityBot 2 次、OAI-SearchBot 1 次
- 训练类 36 次：ClaudeBot 31 次、GPTBot 5 次
换句话说，一个看起来「AI 爬虫来访量很高」的日子，其中近半是不产生引用的抓取。
二、检索类与训练类：一张对照表
这两类爬虫的产品定位完全不同，这是 bot 官方明示的，不是推测。
| 爬虫 UA | 归属 | 用途 | 是否影响引用 |
|---|---|---|---|
OAI-SearchBot | OpenAI 搜索 | 实时检索，回答用户提问时调用 | 直接影响 ChatGPT 回答 |
PerplexityBot | Perplexity | 实时检索 | 直接影响 Perplexity 回答 |
Googlebot | 搜索索引 | 影响 AI Overviews 与引用来源 | |
Bingbot | Bing | 搜索索引 | 影响 Copilot 与 Bing 答案 |
Bytespider | 字节（豆包） | 搜索索引 | 影响豆包回答 |
ClaudeBot | Anthropic | 模型训练抓取 | 不产生引用 |
GPTBot | OpenAI | 模型训练抓取 | 不产生引用 |
训练类爬虫访问的内容进入训练数据，而训练数据不会在推理时被检索、不会出现在对话回答里。被 GPTBot 抓走 31 次，不等于 ChatGPT 会在回答中提到你一次。
三、训练类爬虫只看robots.txt 和 sitemap
我们在日志中记录了每个爬虫请求的具体路径。10-12 当天的分布：
| 爬虫 | 次数 | 主要请求路径 |
|---|---|---|
| ClaudeBot | 31 | robots.txt 12 次、sitemap.xml 12 次、其他 7 次 |
| GPTBot | 5 | sitemap.xml 1 次、其他页面 4 次 |
| Googlebot | 22 | en/news/overseas-geo-b2b-supplier-selection.html、en/news/why-ai-wont-cite-you.html、en/news/ai-search-brand-visibility.html、china-geo-agency.html、404.html |
| Bingbot | 14 | index.html、feed.xml、sitemap.xml、pricing.html、geo.html |
规律很清晰：ClaudeBot 的 31 次里有 24 次（77%）只在请求 robots.txt 与 sitemap.xml。它并不关心你的文章写了什么——它顺着 sitemap 知道「这里有个站」，然后抓去训练。
而 Googlebot 直接抓到了具体文章 URL。这才是「你的内容被读到了」的证据。
推论：没有正确的 sitemap，训练类爬虫来了也只是知道有个站，检索类爬虫则可能完全找不到你的内容。而内容质量足够高时，检索类爬虫会一篇篇去读。
四、我们做了什么，效果如何
10-14 当天，我们完成了 Google Search Console 域名属性验证与站点地图提交。提交前做了体检：HTTP 200、Content-Type 为 text/xml、37 条 URL 逐条验证可访问。同日 Bing 侧也完成闭环：部署验证文件、API 提交站点地图（返回 Status=Success, UrlCount=37）、批量提交 6 个关键 URL。
这里必须诚实说明：提交是提交，收录是收录，两者之间通常有数天到数周的时间差。截至 10-14，我们能确认的只是「提交动作完成」，不能宣称「已经被收录」。把提交当成收录，是 GEO 领域最常见的一种自欺。
后续我们会持续通过 Bing Webmaster API 与 Google Search Console 的索引查询接口监测真实状态，而不是凭感觉判断。
五、五条可执行清单
1. 在日志里区分检索类与训练类。不要看「AI 爬虫总量」。至少把 OAI-SearchBot、PerplexityBot、Googlebot、Bingbot、Bytespider 单独统计。GPTBot 与 ClaudeBot 的量与你的引用量基本无关。
2. 确认 robots.txt 放行了检索类。这是最基础也最容易漏的一步，放行对象包括 OAI-SearchBot、PerplexityBot、Googlebot、Bingbot、Bytespider。
3. 把 sitemap 当作主要入口来建设。实测 77% 的训练类请求都落在 sitemap 上。没有站点地图，站点在 AI 眼里近乎不存在。
4. 提交后仍要监测，不要凭感觉。提交成功不等于收录。Google 与 Bing 都提供了索引状态查询接口，用它们说话。
5. 别在训练类 bot 上做无用优化。为 GPTBot 优化页面内容是无效投入——它不进检索结果。优化重点应放在内容质量与站外第三方信源。
六、如何复现这份数据
我们的方法完全公开，你可以用在任何站点上。
第一步：从访问日志提取 AI 爬虫。主流 bot 的 UA 都是固定可识别的字符串。日志需要记录 UA 字段、请求路径、状态码、来源 IP。
第二步：按 IP 段与行为交叉验证。单一 IP 的高频访问要打问号。把「同一 UA 跨多个 IP」与「单 IP 短时间高频」分别标记为流量农场与伪装池，避免统计污染。
第三步：把内部流量剔干净。监控脚本自身的请求、curl 抓取、WordPress 定时任务都会被记入访问日志。实测 10-14 当天 446 个请求里，291 个（65%）属于内部或自测流量——不剔除这一步，AI 来访量会虚高约 3 倍。
第四步：按检索类与训练类分桶。这一步是本文所有结论的来源。
常见问题
GPTBot 和 OAI-SearchBot 有什么区别？
GPTBot 是 OpenAI 的训练抓取爬虫，抓走的内容进入模型训练数据，不会被检索、不会在回答中被引用。OAI-SearchBot 是搜索检索爬虫，每次用户提问时实时检索，它抓取的内容才可能出现在 ChatGPT 的回答里。做 GEO 只需关注后者。
ClaudeBot 的抓取对 GEO 有用吗？
基本无用。ClaudeBot 是 Anthropic 的训练抓取爬虫，不参与实时检索。实测 9 天日志中它来访量常超过检索类爬虫，但不会带来引用。
提交了sitemap 就等于被收录了吗？
不等于。提交和收录是两件事，之间通常有数天到数周的时间差。提交成功只能证明动作完成，收录状态必须通过 Google Search Console 与 Bing Webmaster Tools 的索引接口查询确认。
怎么区分检索类和训练类 AI 爬虫？
按 UA 字符串区分。检索类包括 OAI-SearchBot、PerplexityBot、Googlebot、Bingbot、Bytespider；训练类包括 GPTBot、ClaudeBot、CCBot。统计时应分开计数，否则会得到严重误导的结论。
为什么日志统计要剔除内部流量？
因为监控脚本自身的请求、curl 抓取、WordPress 定时任务都会被记入访问日志。实测某日 446 个请求中 291 个（65%）属于内部流量，不剔除会让 AI 来访量虚高约 3 倍。
数据说明：本文数据来自本站 2026-10-06 至 10-14 的独立访问日志，为自建审计系统输出，分析脚本与统计口径可公开复现。文中涉及的服务与产品信息以站内公示为准。
AI 协助披露：本文数据整理与初稿由 AI 协助完成，发布前经人工终审。数据本身来自原始日志，可验证。