网站存在大量404死链接,而又不主动去删除,长期下去搜索引擎就会降低对该站点的信任度,导致该站点被降权,下面大兵来给大家分享网站404链接是如何产生的,对网站有哪些影响?网站404链接该如何解决才不会导致网站被搜索引擎降权。
大量404死链接对网站会有什么影响?
1、死链接对于网站来说是避免不了的,但如果死链接过多,会影响搜索引擎对于网站的评分;
2、搜索引擎每天对于每个站点的抓取频次是有限制的,如果站点死链接太多,是会流费掉搜索蜘蛛每天抓取配额的,还会影响正常页面的抓取。
3、太多有404死链接对于用户来说,体验也是不好的。
网站404死链接如何产生的?
1、网站内部错误链接
由于网站编辑或程序员的大意,导致网站产生不存在的链接页面。
2、网站短暂无法访问
由于网站程序、空间或服务器的问题,导致网站产生大量以5开头的错误状态码页面。
3、外部链接错误
用户或站长自己在站外发布了错误链接页面,搜索蜘蛛在抓取了这些页面后产生了404错误页面,别人采集复制了你站点含有错误链接的页面,还有就是有些垃圾站点自动生成静态页面搜索结果,这些都会导致网站产生404错误页面。
4、抓取了不完整URL链接
有些搜索蜘蛛在抓取网站URL链接时,只抓取部分URL链接或者将正常URL链接后面的文字也抓取进去了。
5、网站改版
在网站改版过程中,将老页面删除后未做301跳转到对应页面,或者在做了301跳转后,部分老页面仍然无法正常访问。
6、管理员删除页面
站长删除被黑、广告、过时、灌水页面时,未做301跳转,导致网站产生了大量死链接。
7、下架过期商品页面
电商网站平台,下架过期商品信息产生的404死链接。
大量网站404死链接该如何去解决
1、修复错误页面
由于网站编辑或程序员的大意产生的错误页面,此种情况,我们要及时对程序进行修复,来保证本应该是正常的页面恢复访问。
2、提交死链接
网站404错误链接页面URL地址该如何获取?大兵给大家分享以下三种方法:
(1) 使用百度站长工具,点击数据统计中的“抓取异常-找不到的页面”,复制下面的所有链接地址,这就是近段时间我们网站的404死链接,此处链接不需要我们另外向百度提交了,百度已经自动帮我们提交了;
(2) 在删除网站页面时,手动保存好被删除的页面URL地址;
(3) 使用爬虫软件,例如Xenu,爬取网站中所有链接地址获取死链接。
通过HTTP状态码来批量筛选网站所有链接中的404死链接,排除非404状态码的页面。
整理好所有404状态码的链接页面,将保存为一个TXT格式的文件文件,将此文本文件上传至网站根目录中,再将此文本文档提交给百度站长平台。如何将死链接提交给百度,可参考《如何将404死链接提交给百度》这篇文章。
3、在robots中屏蔽抓取
如果你的网站存在大量404死链接,而且还具有一定的规律,那么你可以在robots文件中写一个规则禁止蜘蛛抓取此类链接,前提是不要把正常页面给误伤了,例如你的网站全部是html静态页面,如果错误页面链接中含有?的话,robots文件规则可以写成Disallow:/*?*,如果错误页面链接中含有/id…html,则robots规则可以写成Disallow:/*…* 。
robots文件规则创建完成后,再去百度站长平台robots工具校验一下,将封禁的错误页面放进去,看看是否封禁成功了,再将正常的页面放进去,看看是否被误封了。
网站404死链接处理注意事项:
1、在向百度站长平台提交网站404死链接之前,一定要先确保这个链接是否是活链接,否则将将无法成功提交,导致死链接无法删除。
2、由于某些网站程序问题,导致网站很多打不开的页面状态码并不是404,这种问题对于用户体验是极不友好的,例如有些页面明明打不开,但返回码却是301、200、500,这种问题建议大家尽快处理好。
3、找到网站所有404错误页面后找到相同特征,与正常页面进行区分,写成一个robots文件规则禁止搜索蜘蛛抓取,就算提交了死链接,也建议robots封禁此类页面。
4、robots规则只能让蜘蛛不再抓取此类页面,不能删除已经收录的页面快照,如果你的网站有些页面被黑,而且这些页面还被删除了,我们除了要将这些页面进行robots封禁外,还需要向百度搜索提交死链接,这也是删除被黑页面快照的最快办法。
本篇文章发布于大兵SEO博客,为大兵原创内容,如若转载,请注明出处:https://www.zhuzhouren.cn/seojishu/9801.html,否则,禁止转载,谢谢配合!