内容目录加入分类、标签、时间和排序筛选后，几个选项就可能组合出大量 URL。数量本身并不说明页面有价值：其中可能只是同一批文章换了顺序，也可能是永远没有结果的组合。先理解参数改变了什么，再决定搜索引擎是否需要访问这些地址。
把参数按功能分开
| 参数类型 | 典型作用 | 核对重点 |
|---|---|---|
| 筛选条件 | 改变结果集合 | 是否满足稳定、独立的阅读需求 |
| 排序方式 | 同一集合换顺序 | 是否重复生成可抓取入口 |
| 跟踪参数 | 记录来源 | 正文是否与无参数版本相同 |
| 分页 | 展示集合中的不同部分 | 后续文章能否通过链接发现 |
以假设的教程目录为例，“产品=缓存”可能有长期阅读需求，而“按标题倒序并只看某一天”的组合可能几乎没有独立价值。判断应结合实际内容、查询与访问证据，不能只凭 URL 中有没有问号一概封禁。
需要保留的页面要有稳定结构
为重要主题选择稳定地址，保证标题、说明与列表相符。相同条件应生成一致的参数顺序，避免重复条件、空值和任意拼接。分页不能无限生成；到达不存在的页数时，应返回与真实内容状态相符的结果。Google 的筛选导航指南特别提醒，空结果或无意义组合不应持续返回看似正常的内容页。
不需要索引和不希望抓取是两种目标
如果大量组合消耗服务器资源且无搜索用途，可以评估用 robots.txt 限制对应抓取模式。但它不是删除既有索引的通用办法；已经被收录的页面是否需要先让爬虫读取 noindex，应单独规划。相关边界见robots.txt 与 noindex。
canonical 可以表达重复内容的首选版本，不能把它当成立即阻止抓取的开关，也不适合把实质不同的所有筛选结果都指向首页。若仅是跟踪参数导致重复，可先核对规范 URL 的选择。
规则上线前准备一组反例
至少覆盖：无参数主列表、有价值筛选页、排序变体、无结果组合、有效分页、超出范围分页，以及带多个参数的地址。逐条记录预期的状态码、robots 规则和 canonical。通配符应在测试环境中对这组地址验证，确认没有连正常文章或必要资源一起限制。
观察请求分布，而不是只看总量
上线后把日志按参数类型和结果分组，检查无效组合请求是否下降、正常文章是否仍被发现。搜索引擎重新处理需要时间，短期抓取下降也可能来自服务器错误。保留规则变更时间和恢复方法；如果正常页面被误拦，应先恢复访问，再缩小规则范围。
小型博客若没有复杂筛选，先把文章和导航做好即可。不要为了“优化抓取预算”引入比原问题更复杂的规则。
参考资料
作者：lgd。资料核对：2026-10-08。本文采用 AI 辅助整理；示例用于说明方法，不代表本站实测数据。
