关于robots.txt文件的10条注意事项

　　1、如果未创建robots.txt文件，则代表默认网站所有文件向所有搜索引擎开放爬取。

　　2、必须命名为：robots.txt，都是小写，robot后面加"s"。

　　3、robots.txt必须放置在一个站点的根目录下。

　　通过如https://www.52chengyi.org/robots.txt 可以成功访问到，则说明本站的放置正确。

　　4、一般情况下，robots.txt里只写着两个函数：User-agent和 Disallow。

　　5、空格换行等不能弄错，可复制这个页面并修改为自己的。点击

　　6、有几个禁止，就得有几个Disallow函数，并分行描述。

　　7、至少要有一个Disallow函数，如果都允许收录，则写: Disallow:

　　如果都不允许收录，则写:Disallow: / (注：只是差一个斜杆)。

　　8、允许有多个User-agent，如果对所有爬取蜘蛛生效，则用“*”星号表示。

　　9、robtos.txt文件内可以放上Sitemap文件地址，方便告诉搜索引擎Sitemap文件地址。

　　10、网站运营过程中，可以根据情况对robots.txt文件进行更新，屏蔽一些不要搜索引擎抓取的文件地址。