无百度蜘蛛抓取记录,大兵教你三步轻松解决百度蜘蛛封禁

近期内有用户反应，网站内容非常优质，但是却没有百度搜索蜘蛛的抓取记录，内容在百度搜索中也没有任何收录和展现，问这是什么原因，下面大兵来给大解决下这个问题。

三步轻松解决网站，无百度蜘蛛抓取记录和百度蜘蛛封禁问题

网站内容优质却没有搜索蜘蛛的抓取记录，出现这种问题一般可能是由于站长误操作封禁了百度蜘蛛，导致百度蜘蛛无法正常抓取网站页面，所以网站页面在百度搜索里就没有任何收录和展现，常见的百度搜索蜘蛛误封禁的行为包括robots文件封禁、百度UA封禁、百度IP封禁等。
如何查找自己网站有无误封禁百度蜘蛛的情况？大兵告诉大家可以通过以下三种方法自查。

1、自查robots.txt文件

站长们，先看看自己网站的robots.txt文件，检查下是否百度蜘蛛封禁行为，这个文件一般是在网站根目录下。
处理方法：如果网站有robots封禁行为，建议站长们尽快修改或删除robots.txt文件。

不知道网站如何设置robots.txt文件，可参考《Robots.txt文件要如何正确设置》这篇文章。

2、自查是否封禁百度UA

站长们如果自查网站的robots.txt文件没有问题，那么进一步就排查下网站是否封禁了百度UA呢？那么如何排查网站是否误封禁了百度UA？

（1）执行代码自查

执下如下代码就可以自查网站是否误封禁百度UA：
curl–head–user-agent’Mozilla/5.0 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)’–request GET ‘xxxxxxx’
xxxxxxx为网站域名，如：https://www.zhuzhouren.cn
如果执行这条代码返回的是200代码，则说明网站没有误封禁百度UA，反之，如果返回的是其它异常代码，则说明网站误封禁了百度UA。

（2）更换浏览器进行UA验证

检查下网站在其它浏览器中是否能正常抓取或收录，以此来判断网站是否存在封禁百度UA的问题；
处理方法：利用网站反抓虫策略，进行策略调整，解决百度UA封禁问题，或者将百度UA添加到浏览器的白名单中。

3、自查是否存在IP封禁

站长们，如果自查以上问题均无异常，那么站长们还可以去排查网站是否有IP封禁的问题；
IP误封禁一般都是防火墙误操作导致，打开防火墙设置后台，检查下防火墙是否将网站IP误封禁了。
处理方法：利用网站反抓虫策略，进行策略调整，解决百度IP封禁问题。

总结：如果你的网站也出现了以上问题，建议按照以上三个步骤方法去排查，这样才能快速解决网站内容优质，却无百度蜘蛛来抓取的问题。