确定影响范围的核心做法是:先把“异常”拆成可观察的指标,再按目录、模板、链接来源和抓取日志四个维度做交叉比对,找出共同特征。不要先猜原因,先圈定哪些页面、哪些类型、从什么时间开始同时出现同一现象。
多人协作时最容易返工的地方,是每个人说的“收录异常”指的不是同一件事。交付前先统一口径,把现象写成可核对的形式:
这一步的产出应是一句话结论,例如“某栏目列表页自某次模板调整后不再出现在百度搜索结果中,详情页暂未发现同类现象”。范围描述越窄,后续排查越省力。
把疑似受影响的页面列成表,逐项标注以下维度,找出异常页共有的那一列:
如果异常页全部命中同一模板,问题多半在模板层;如果分散在不同模板但同属一个目录,优先查该目录的抓取与链接配置;如果抓取正常但结果中不出现,则要把“抓取”和“索引”分开判断。
只观察异常页容易得出片面结论。正确做法是同时选一组正常页作对照,两组页面在目录、模板、链接深度上尽量接近,然后比较差异项。可执行的检查包括:
site:限定目录范围,观察结果数量与页面类型是否对应;robots.txt是否误屏蔽了某个目录。注意:抓取限制不等于可靠的索引移除,被屏蔽只影响抓取,不能据此推断页面一定已从索引中消失;对照结果能直接给出判断:若异常页与对照页的唯一差异是canonical指向了别的URL,影响范围就锁定为“该模板下canonical配置错误的页面”;若差异是日志中蜘蛛完全不访问,范围则锁定为“入口链接被切断的页面”。
确定范围后,交付物应包含三部分:受影响URL的清单或规则、判断依据(哪一项指标、哪一组对照)、复查时间点。修改上线后按同一套指标重新比对,确认异常页是否回到与对照页一致的状态。若范围仍在扩大,说明最初的共同特征找错了,需要回到准备阶段重新拆分现象。
下一步建议:从异常页中随机抽5到10条,与同模板的正常页做成对照表,逐项填写目录、模板、链接来源和日志状态,先确认差异是否唯一,再决定修改哪一层。