robotstxt：部分页面正常而特定参数异常时怎样缩小复现条件
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /02cf3ad40bfe.html
📄
robotstxt：部分页面正常而特定参数异常时怎样缩小复现条件
先给结论：不要从整站规则改起，而要把“带参数的 URL”当成独立样本，围绕参数位置、参数取值、抓取身份三条线做对照，直到只剩一个变量。能稳定复现的那个最小条件，才是下一步验证的对象；在此之前任何修改都只是猜测。
先分清两种解释：规则命中不同，还是抓取路径不同
同一个目录下，/list 正常、/list?page=2 被挡，通常落在这两类原因里：
- 规则命中差异。通配符、结尾锚定或参数顺序导致某一形态恰好匹配到一条 Disallow，而另一形态没有匹配。这类差异与请求者是谁无关，换一个抓取身份结果应当一致。
- 抓取路径差异。规则本身对两种形态一视同仁，但实际请求的 URL 在到达规则判断前已被改写、归一化或跳转，于是比对的是另一个字符串。这类差异往往只在特定入口、特定跳转链或特定参数顺序下出现。
两者的修复动作完全不同：前者改规则，后者改链接生成或跳转逻辑。所以第一步不是改，而是判断属于哪一类。
用三个对照把变量压到一个
假设存在这样一组现象：站内链接指向的带参数页正常被抓，而从外部入口进入的同一路径带参数页异常。可以按下面顺序做对照，每做一步只改一个变量。
- 参数位置对照。固定路径与参数值，只改参数顺序，例如
?a=1&b=2与?b=2&a=1。若结果不同，说明问题与字符串匹配有关，而不是参数值本身。 - 参数取值对照。固定参数名与顺序，只改取值长度或字符类型（纯数字、含连字符、含编码字符）。若只有某一类取值异常，重点转向编码与归一化环节。
- 抓取身份对照。用同一 URL、同一时刻，分别以不同抓取身份请求。若结果一致，规则命中差异的可能性上升；若不一致，说明还有一层与身份相关的判断在起作用。
每一步都要记录：请求的完整 URL、返回状态、以及规则文件在该时刻的内容。没有这三项，后面的结论无法复核。
能区分两种解释的证据长什么样
关键证据是“同一字符串是否被同等对待”。
- 把异常 URL 原样复制到规则文件的匹配逻辑里手工比对，如果确实命中某条 Disallow，而正常 URL 不命中，那就是规则命中差异。此时要看的是通配符位置和结尾符号，而不是参数值。
- 如果两者在规则层面完全等价，但实际请求记录里异常 URL 的路径部分与预期不同（例如多了一段、少了编码、被重写成另一形态），那就是抓取路径差异。此时要顺着跳转链往回找，看是哪一跳改变了字符串。
- 如果同一 URL 在不同抓取身份下结果不同，先排除身份相关的独立配置，再回到规则比对，不要直接归因于规则文件。
这里有一个常见误判：看到某个带参数 URL 的抓取量下降，就认定是规则挡住了。抓取量变化还可能来自链接结构改变、页面重要性下降、服务端响应变慢或跳转链变长。抓取量归零本身不能证明规则处理正确，也不能证明它被错误命中。
一个注明假设的短例子
假设某站规则文件里有一条针对分页参数的规则，写法接近 Disallow: /*?page=。站内链接生成的是 ?page=2，正常；某个外部入口生成的是 ?page=2&from=x，也命中同一条规则，理论上应当同样被挡。但实际观察是前者正常、后者异常。按上面的对照走一遍，若参数顺序与取值都排除后仍无法解释，就要检查外部入口是否先经过一次跳转，把 & 转义成了别的形态。此时修复动作是统一链接生成方式，而不是放宽规则。假设前提是：规则文件只有这一条相关规则，且两次请求间隔很短、服务端配置未变。
缩小到最小条件之后做什么
当你能用一条 URL 加一个固定抓取身份稳定复现异常时，再动手。动作与结果的对应关系是：
- 如果最小条件指向规则命中，先只改那一条规则，保持其他规则不动，然后用同一 URL 复测。复测通过，再检查同目录下是否存在被同一模式误伤的其他形态。
- 如果最小条件指向跳转或链接生成，先修入口侧，再复测同一 URL。此时规则文件不应改动，否则两个变量同时变化，无法判断是哪一步起的作用。
- 复测时同时记录规则文件内容与请求结果，作为下一次变更的基线。
最后提醒两点边界：抓取限制不等于可靠的索引移除，被挡住的 URL 仍可能以其他方式出现在结果中；站点地图提交也不保证收录。这两件事与本次复现条件无关，不要把它们混进同一个判断里。
