收录批量查询 - 改动前怎样保存原始状态

📍 WDQWDWQD987AAAAA:216.73.217.70
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /81921eb84b1f.html
📄

收录批量查询 - 改动前怎样保存原始状态

做收录批量查询之前，先把“原始状态”保存成可回滚的快照：同一时间点抓取到的 URL 清单、每条 URL 的收录结果、查询参数、robots.txt 与站点地图内容，以及页面上影响抓取的响应头。保存的目的不是留档好看，而是改动后能用同一套输入复测，判断差异来自改动还是来自查询口径变化。

先固定查询口径，再谈保存

收录批量查询的结果会随查询方式变化。保存原始状态时，必须把“怎么查的”一起记下来，否则复测没有可比性。

如果两次查询一个用 site 限制、一个用完整 URL，数量不可直接对比。保存时把查询模板写成文本，例如 site:example.com/path，下次原样复用。

保存哪些原始文件

收录结果依赖抓取环境。改动 robots.txt、站点地图或页面响应头，都可能让同一批 URL 的查询结果变化，所以这些文件要按改动前的时间点保存。

  1. robots.txt 原文：保存完整内容与抓取时间。注意，robots.txt 的抓取限制不等于可靠的索引移除，它管的是抓取许可，不是删除已收录结果的手段。
  2. 站点地图文件：保存 XML 原文、文件地址、最后修改时间。站点地图不保证收录，它只是提交发现线索。
  3. 页面响应头：至少记录 HTTP 状态码、X-Robots-Tag、rel=canonical 指向、meta robots 内容。HTTPS 不保证安全无漏洞或排名，它只是传输层条件，不要把它当作收录状态的判断依据。

这些文件要和 URL 清单放在同一批次里，标注同一时间戳，避免出现“清单是今天的、robots 是上周的”这种错位。

可执行清单：每项查什么、怎么查、结果说明什么

1. URL 清单 查什么：本次要批量查询的全部 URL。 怎么查：从站点地图、日志或已有清单导出，去重后按路径排序。 结果说明什么：清单是复测的输入基线；如果两次清单不同，数量差异不能归因于收录变化。

2. 收录结果快照 查什么：每条 URL 当时是否出现在查询结果中。 怎么查：用固定查询模板逐条或分批查询，逐条记录“出现 / 未出现 / 不确定”。 结果说明什么：这是改动前的对照值；不确定的条目要单独标记，不要当成未收录。

3. 抓取限制状态 查什么：robots.txt 是否屏蔽了相关路径，页面是否带 noindex。 怎么查：读取保存的 robots.txt 原文，检查响应头与 meta robots。 结果说明什么：若改动前就存在屏蔽，未收录可能是屏蔽导致，而不是内容质量问题。

4. 规范化指向 查什么：canonical 指向哪个 URL。 怎么查：查看页面源码中的 rel=canonical 与响应头。 结果说明什么：若多条 URL 都指向同一 canonical，查询数量偏少属于预期，不一定是异常。

5. 查询环境记录 查什么：查询时使用的入口、账号、时间、网络环境。 怎么查：手动记录或截图存档。 结果说明什么：环境变化可能改变结果，复测时应尽量还原同一环境。

两种处理方案的适用条件

方案一：全量快照。对全部 URL 逐条保存收录结果与页面状态。适用于 URL 数量可控、改动会影响多个路径、需要精确对比的场景。代价是耗时，且查询频率过高可能触发限制。

方案二：抽样快照。按目录或模板抽取代表性 URL，保存同样的字段。适用于 URL 数量大、改动集中在少数模板的场景。判断条件是：抽样覆盖了所有受影响的模板类型，且改动不会波及未抽样的路径。若无法确认影响范围，选全量更稳妥。

两种方案都要保存原始文件与查询口径，区别只在覆盖范围。选择依据是改动影响面与可接受的复测成本，而不是哪种“更专业”。

复测时怎么用这份快照

改动完成后，用同一份 URL 清单、同一查询模板、同一记录字段重新查询，逐条对比状态变化。若某条从“未出现”变为“出现”，先确认改动前后 robots、canonical、响应头是否真的不同；若这些字段没变，变化可能来自查询环境或搜索引擎自身的更新节奏，不能直接归因于本次改动。不同搜索引擎支持情况须分别核查，一套快照只对应当时的查询入口。

下一步：在动手改任何抓取相关配置前，先导出当前 URL 清单和 robots.txt 原文，存成一个带时间戳的目录，再开始批量查询。

图1 图2
nginx