robots限制抓取

关于网站“robots文件”常见问题详解，robots文件主要用于指定搜索引擎蜘蛛spider在网站里的抓取范围，用于声明蜘蛛不可以抓取哪些网站资源及可以抓取哪些网站资源，通常以User-agent开始，后面再加上Disallow或者Allow命令行。

网站内容优质却没有搜索蜘蛛的抓取记录，出现这种问题一般可能是由于站长误操作封禁了百度蜘蛛，常见的百度搜索蜘蛛误封禁的行为包括robots文件封禁、百度UA封禁、百度IP封禁等。