【温州seo优化】robots.txt有什么作用，robots文件怎么写

　　robots.txt协议文件有什么用一：

　　搜索引擎访问一个网站的时候，最先访问的文件就是robots.txt。她告诉搜索引擎蜘蛛，哪些网站页面可以被抓取，哪些禁止抓取。表面来看，这个功能作用有限。从搜索引擎优化的角度来看，可以通过屏蔽页面，达到集中权重的作用，这，也是优化人员最为看重的地方。而robots.txt文件是需要放置在网站的根目录，且对字母大小有限制，文件名必须为小写字母。所有的命令第一个字母需大写，其余的小写。且命令之后要有一个英文字符空格。

　　网站设置robots.txt的几个原因二：

　　1：设置访问权限保护网站安全。

　　2：禁止搜索引擎爬取无效页面，集中权值到主要页面。

　　怎么用标准写法书写协议三：

　　有几个概念需掌握。User-agent表示定义哪个搜索引擎，如User-agent：Baiduspider，定义百度蜘蛛;Disallow则是表示禁止访问;Allow表示运行访问，通过以上三个命令，可以组合多种写法，允许哪个搜索引擎访问或禁止哪个页面。