【河北优化推广】robots.txt的作用及robots.txt文件写法

　　一、robots.txt的定义

　　Robots协议也叫爬虫协议、机器人协议等，通过它来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。当一个蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，蜘蛛就会按照该文件中的内容来确定访问的范围;如果该文件不存在，蜘蛛将访问网站上的所有页面。

　　二、robots.txt的作用

　　1、引导搜索引擎蜘蛛抓取指定栏目或内容;

　　2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接;

　　3、屏蔽死链接、404错误页面;

　　4、屏蔽无内容、无价值页面;

　　5、屏蔽重复页面，如评论页、搜索结果页;

　　6、屏蔽任何不想被收录的页面;

　　7、引导蜘蛛抓取网站地图。

　　三、robots.txt文件写法

　　1、User-agent:(定义搜索引擎)

　　示例：

　　User-agent: *(定义所有搜索引擎)

　　User-agent: Googlebot (定义谷歌，只允许谷歌蜘蛛爬取)

　　User-agent: Baiduspider (定义百度，只允许百度蜘蛛爬取)

　　不同的搜索引擎的搜索机器人有不同的名称，谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

　　2、Disallow:(用来定义禁止蜘蛛爬取的页面或目录)

　　示例：

　　Disallow: /(禁止蜘蛛爬取网站的所有目录 “/” 表示根目录下)

　　Disallow: /admin (禁止蜘蛛爬取admin目录)

　　Disallow: /abc.html (禁止蜘蛛爬去abc.html页面)

　　Disallow: /help.html (禁止蜘蛛爬去help.html页面)

　　3、Allow:(用来定义允许蜘蛛爬取的页面或子目录)

　　示例：

　　Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)

　　Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)

　　4、匹配符 “$”

　　$ 通配符：匹配URL结尾的字符

　　5、通配符 “*”

　　* 通配符：匹配0个或多个任意字符