该经验分享主要是帮助一部分朋友在日常网站改版中规则迟迟不生效、同样内容多套URL被收录问题，其实这个问题在很早之前也困扰过我，后面经过man_hok大师指导后才发现问题的最终原因在于老的链接还存在，所以导致网站改版失效、新的内容老的url还会被收录。
如果你遇到如下的问题，就该考虑是否老的入口还没有关闭：
1.网站改版不生效、部分不生效、生效周期超长。
2.一个同样的内容百度收录多份URL。
3.百度经常抓取一些不存在的页面。
主要问题的症结在于：
1.网站内部存在老的链接入口。
2.如果是同内容多套URL的问题，还要考虑网站是否存在泛解析，或改目录泛解析。
3.外部存在错误链接导向。
解决办法纲要：
1.网站内部的老链接可以由程序猿或者SEO来排查，从程序中、页面里删除或替换成新url格式。
2.泛解析的关闭，同时记得处理一下因此带来的死链问题。
3.外部存在错误链接导向的话，可控的参照（1）来解决，不可控的一定要把站内的错误链接返回404.
1.首先我们来新建遍历网站，一般情况下，我建议有多域且页面较多一个一个域来排查，否则很容易产生死角。打开xenu后 文件-检查网址即可新建一个项目。
2.配置项目，我们可以在这里输入我们要排查的网址，多子域且子域内容较多的建议一个子域一个子域进行排查，不建议勾选检查外部链接。在使用过程中大家可以把一些不必要检查的项目排除掉，这样会提高遍历的速度。
3.高级配置。这一步一般站点收录量不大，对性能要求不高的可以不用设置，直接跳过这步。
在更多选择中我们可以设置线程数，线程数越高速度越快，同时占用系统资源越高，对站点的压力也会越大，如果站点的服务器空间性能不是特别好，或者在使用该工具过程中遇到站点挂了。可以在这里减少增加线程，部分电脑比较卡的也可以通过调低线程数量来缓解卡顿。
这里有一个层数建议大家要特别注意，因为这涉及到遍历的逻辑，一般情况写3-5即可，看网站的层级是否复杂，如果遍历出来的结果不够完整，大家可以调高最大层数。
由 dawei
【声明】：绥化站长网内容转载自互联网，其相关言论仅代表作者个人观点绝非权威，不代表本站立场。如您发现内容存在版权问题，请提交相关链接至邮箱：bqsm@foxmail.com，我们将及时予以处理。