网站robots文件是否要屏蔽JS和CSS文件
遇到搜索蜘蛛抓取网站JS和CSS文件非常频繁，甚至占到了日抓取量的五分之一，这种情况有没有什么办法解决呢？是否可以屏蔽？下面大兵来给大家讲讲。
首先来介绍下什么是robots文件呢?
robots是网站与搜索蜘蛛之间的抓取协议，通过txt文本文件告诉搜索蜘蛛网站允许的抓取权限，robots.txt是搜索引擎访问网站第一个文件，当搜索蜘蛛访问网站时，第一件事情就是检查该网站有没有robots文件，如果有，搜索蜘蛛就按照robots文件所规定的权限进行抓取，如果该文件不存在，搜索蜘蛛就可以抓取网站上所有文件。
网站robots文件是否要屏蔽JS和CSS文件的个人见解
1、将JS和CSS文件不建议全部屏掉，因为随着网站的发展，网站需要抓取的文件会越来越多，不建议全部屏蔽的原因有以下几个：
A、目前还没有相关数据证明，搜索蜘蛛抓取网页JS和CSS文件后，会减少抓取网页的机会；
B、如果要通过屏掉js和css文件来让其它网页提高抓取率的话，那网页推广做的也是蛮差的；
C、目前百度搜索可以正确识别什么是js文件、css文件及什么是网页文件。
2、根据百度内容模板专利相关介绍，可以得出以下几个观点：
A、百度搜索可根据网页链接布局、网页框架，就可判断站点的主要页面类型及页面主体内容；
B、如果网页js、css文件对搜索蜘蛛识别网页主体内容没有影响，那么屏蔽是可以的，但从网页实际运行实例中js、css文件对网页内容抓取没有什么帮助，因为网页主体内容与js、css文件本来就是不相关的；
C、如果js、css文件对搜索蜘蛛识别网页主体内容有影响，例如网页js、css文件中含有网址、图片地址、有效资源地址、文字资源，这种情况不建议屏蔽，因为搜索蜘蛛可以抓取网页js、css文件中的内容，不建议采用ajax或多重逻辑判断的代码；
总结：如果遇到网页js、css文件抓取频率还是比较频繁，建议使用百度抓取频次工具进行反馈，提搞下网页抓取频次
