robots.txt文件存在限制指令是什么意思
SEO优化 749
robots.txt文件存在限制指令是什么意思
搜索引擎提示“robots.txt文件存在限制指令“表示的意思是robots.txt文件限制了搜索引擎对你网站的抓取,robots.txt文件中写了限制搜索引擎抓取访问网站页面的条件,搜索引擎就会根据这个条件暂时停止对你网站页面进行抓取。
那么如何处理这个robots的问题呢?
1、找到网站robots.txt文件,删除限制搜索引擎抓取网站页面的条件,解除对搜索引擎的屏蔽;
2、去百度搜索引擎站长平台更新robots文件,目的是告诉搜索引擎我已经解除了对你的屏蔽,你可以来抓取我的网站页面了,主动更新网站robots文件是对搜索引擎进行示好,待网站快照更新后,“robots.txt文件存在限制指令”这种现象变会消失了。
Robots文件规则更新后多久会生效
Robots文件规则更新后,搜索引擎会很快做出反应,但并不是每个搜索引擎对于Robots文件规则更新所作出反应时间都是一样的。
一般来说谷歌搜索反应的时间最快,其次是百度搜索,谷歌搜索一般会在24小时内做出反应,百度搜索则需要一周的时间才会作出反应。