改版或迁移时,想让百度继续收录新页面,核心不是“提交一下就完事”,而是核对旧地址到新地址的对应关系、抓取通道和页面可访问性。起点是:把旧站所有可被百度抓到的URL列出来,逐一确认它们改版后去了哪里、返回什么状态码、是否还能被爬虫正常读取。下一步是抓取一轮改版后的站点,对比收录与流量变化。
改版前,先用百度搜索资源平台里的抓取诊断或普通搜索的site语法,抽样观察旧页面是否仍被索引。更可靠的做法是从服务器日志中筛出百度蜘蛛(Baiduspider)近期访问过的URL,这些就是实际被抓过的地址。把它们整理成清单,作为后续核对底稿。
如果旧站有站点地图,可以一并导出其中的URL。但要注意:站点地图只提交线索,不保证收录,它不能替代逐条核对。
改版通常分两种情况,核对重点不同:
核对时看状态码:301表示永久迁移,百度会逐步把权重和收录转移到新地址;302是临时跳转,不适合作为迁移信号;返回404则意味着这个地址从索引中消失。可以这样检查:
curl -I https://旧地址
看返回的HTTP状态码和Location字段是否指向正确的新地址。这是判断迁移是否生效的直接依据。
改版后要确认三件事:
处理完成后,把新的站点地图提交到百度搜索资源平台,作为辅助线索。
迁移后不要只看一天的数据。按周复查:
如果旧URL大量返回404而没有301,或新URL长期不被抓取,就需要回到上一步排查抓取通道。判断结果是:收录逐步替换、旧地址跳转正常,说明迁移在按预期推进;若只有旧地址消失、新地址不出现,说明跳转或抓取环节仍有问题。
下一步:从服务器日志导出近30天百度蜘蛛访问过的URL,与改版后的新地址做一次逐条比对,先找出没有正确跳转或返回异常的那部分,优先处理。