改版或迁移时核对404,核心是确认三件事:旧URL是否被错误地直接废弃、旧URL到新URL的映射是否完整、以及返回404的URL是否真的应该返回404。只做全站301跳转到首页,或者只提交新站点地图,都不算完成排查。适用前提是:你已经拿到旧站URL清单和新站URL结构,并且服务器、CDN、反向代理的配置可查。验收信号是:旧URL清单逐条请求后,要么返回301/302到语义对应的新页面,要么按业务需要保留410或404,而不是大批量跳首页或跳无关栏目。
改版或迁移最常见的问题不是新页面打不开,而是旧链接没有对应落点。核对时把旧站可抓取URL整理成一张表,至少包含旧URL、旧页面主题、新URL、跳转类型、负责人。逐条检查映射关系,而不是只看首页和栏目页。
判断结果:如果一条旧URL返回301,但目标页面主题与旧页面明显无关,应视为映射错误;如果旧URL返回404且没有替代内容,需要确认是业务有意下架,还是迁移遗漏。
旧URL跳新URL时,最好一步到位。A跳到B、B再跳到C,会拖慢响应,也让排查变复杂。核对时对每条旧URL发一次请求,记录状态码和最终落点。
可以执行的实际步骤:用命令行工具批量请求旧URL清单,例如curl -I查看响应头,重点看状态码和Location。若旧URL返回200但内容是404页面,说明服务器把404页面错误地以200返回,这会让搜索引擎把无效页面当成正常页面。若旧URL返回302而不是301,需要确认是否为临时调整;永久迁移一般应使用301。
验收信号:旧URL返回301,最终落点返回200,且中间没有多次跳转;不存在的URL返回404或410,而不是200。
迁移后容易出现的矛盾是:页面已经删除,但robots.txt仍允许抓取;或者新页面已经上线,但站点地图仍是旧地址。核对时分别检查这三处,不要混在一起判断。
noindex,旧页面跳转目标是否带noindex。如果跳转目标被禁止索引,迁移效果会被抵消。适用条件:如果旧URL已经返回301,一般不需要再对旧URL单独设置noindex;如果旧URL必须保留一段时间供用户访问,则按业务需要决定是否保留跳转。判断结果:新URL可抓取、可索引,旧URL按计划跳转或返回410/404,三者不冲突。
清单核对之外,还要看真实流量中的404。改版后一周内,抽取服务器访问日志或CDN日志,按404状态码聚合,重点看访问量较高的404 URL。高流量404通常意味着有外部链接、用户收藏或站内链接仍指向旧地址。
检查项:
假设某旧文章页在迁移后返回404,日志显示它每天仍有稳定访问,且内容在新站有对应页面,这就应补301;如果该旧页面内容已彻底删除,且无替代主题,保留404或改为410更合适。这里的关键是逐条判断,而不是把所有404都跳首页。
多人协作时,404排查最容易返工的地方是没人确认哪条规则由谁改、什么时候生效。交付前把旧URL清单、跳转规则、robots.txt、站点地图、页面级指令分别对应到负责人,并记录修改时间。上线后按同一份清单复测一次,确认状态码和落点与预期一致。
如果发现跳转规则配错,应能快速回滚到上一版规则,而不是逐条手工修。验收信号:清单中的每条旧URL都有明确结果,高流量404有处理结论,复测记录可交给下一位同事直接核对。
下一步:拿旧站URL清单,按“旧URL—新URL—状态码—负责人”四列建表,先跑一遍批量请求,把返回200的404页面、跳首页的301和多级跳转标出来,再逐条修正。