网页不收录文章,很多站长都遇到过此类问题,那么这种问题怎么解决呢?下面大兵来给大家进解一下网站长时间不收录的原因和解决办法。
前段时间,有个站长朋友说,他的网站三个月了一个页面都没有收录,甚至首页都没有收录,让大兵帮忙看一下是什么原因,大兵经过检查后发现,他网站不收录的原因是因为robots协议写错了,写成了“Disallow: /”,对搜索引擎一直是处于屏蔽的状态,如下图所示:
有一点点SEO知识的站长们应该都是知道的,搜索引擎抓取网站访问第一个的文件就是robots文件,如果robots文件写错了,阻止了搜索引擎抓取网站,那么网站肯定是不会收录的,因此网站上线前,建议大家一定要检查下robots.txt文件,检查robots.txt文件有没有写错,有没有限制搜索引擎抓取,以下是robots.txt文件限制搜索引擎抓取网站的快照截图。
撰写合适的网站robots规则
robots文件对于网站优化非常重要,因此,每个网站必须要有一个正确的robots文件,这样不仅可以提升搜索引擎抓取网站的效率,还可以告诉搜索引擎哪些网站目录可以抓取,哪些网站目录不可以抓取,总的来说,正确的robots规则文件对于网站优化是非常有利的。
正确的robots文件用法,可参考:https://www.zhuzhouren.cn/seojishu/4608.html
robots规则文件写错,网站不收录的解决办法?
1、首先,打开网站robots文件并修改,删除Disallow: / ,根据网站结构撰写正确的robots文件,例如屏蔽404页面、屏蔽后台页面、网站安全隐私页面等。
2、生成网站XML地图文件,将XML地图文件写入robots文件中,并且将sitemap.xml 地图文件上传到网站根目录中 ,例如sitemap:https://www.zhuzhouren.cn/sitemap.xml,如下图所示:
这样,当搜索引擎蜘蛛来抓取网站访问robots文件时,就可以很快识别出网站上所有url链接。
最后一个步骤,就是提交网站XML地图文件,打开“百度站长平台-普通收录-提交sitemap地图”,https://ziyuan.baidu.com/linksubmit/index?,以便于百度蜘蛛可以快速发现网站页面,从而,实现网站内容的快速收录。
当然,网站不收录也不止以上几种原因,具体问题需要具体分析,并逐一进行解决。
大兵分享的以上内容,希望对站长朋友们可以带去一点点的帮助。
本篇文章发布于大兵SEO博客,为大兵原创内容,如若转载,请注明出处:https://www.zhuzhouren.cn/seojishu/11347.html,否则,禁止转载,谢谢配合!