在网站查找引擎优化优化的过程中常常需要通过一个名为robots.txt的文件与查找引擎蜘蛛对话。通常来讲，查找引擎蜘蛛匍匐到某一个网站就会首要读取该文件，并按照文件中的规则履行接下来的举动。当一个网站中有一些网站不需要被查找引擎录入时，往往就会通过robots.txt来束缚查找引擎蜘蛛对这个页面的抓取。比方说，当网站出现?replytocom重复录入，或许某些不需要被录入并同享权重的页面等等。从这个方面来讲，robots.txt束缚了查找引擎的举动。
而实践情况是，网站在robots.txt阻止了蜘蛛对某个类型url页面的录入，但在用查找引擎高档指令site查询录入情况是发现，查找引擎并没有遵照robots.txt中的规则。大多数时分，查找引擎确实能按照网站robots.txt中所写的规则对这些页面不进行录入。但查找引擎视robots.txt中的规则为无物的情况也是确实存在的。当然，也有能够存在网站robots.txt写法出现错误的能够，但此文建立在正确撰写robots.txt的前提下。有一个很官方的说法是这样的：网站robots.txt中对某个页面屏蔽了蜘蛛的录入，但查找引擎仍是会对该页面进行抓取，只不过在有关查找效果中不会展现这些页面内容。这句话咋一看有些令人费解，但据笔者的观点，仍是很有能够的。
首要，查找引擎的展开根本是向查找用户展现用户所需要的、健康的、优质的内容。在录入并回来有关查找效果之前，查找引擎一定要对这些网站进行相应的晓得，然后在权衡是不是将其录入并给予如何的排行打个比方，假设要做一个不合法的网站，先假定网站内容没有被监管部门查到，也不考虑以下这个方法的好坏与否。当然，假设直接选用有关的关键词做网站查找引擎优化优化，在得到更高曝光率的一同也大大增加了被查封的能够性。更何况这些不合法内容也不一定不会被查找引擎屏蔽。
这时，通过很多的健康的内容做网站的查找引擎优化排行。通过健康的关键词使网站取得很多流量，然后在这些健康的内容上带上不合法信息的衔接进口。当然，这样的衔接一定要运用网站的robots.txt对查找引擎蜘蛛进行屏蔽，一同将一切的不合法内容页面也同样的阻止录入。莫非这样就能既通过查找引擎投机，又避开了查找引擎的监管吗?其实不然，上文中说到查找引擎为了出色的用户领会，一定会对已录入或许行将录入的网站进行悉数的晓得(不管如今查找引擎做的是不是完善)。
那好，已然查找引擎要晓得网站，又如何能对robots.txt中屏蔽的页面视若无睹呢?明着对着查找引擎装纯真，背地里暗暗的搞一些不合法诡计。我想，这种情况查找引擎不会不考虑到。所以了，即使你的网站robots.txt中明晰的对某些页面阻止蜘蛛的匍匐，但查找引擎总仍是要“查看”一下的。不然又如何悉数的晓得网站的好坏呢?
作者：沈阳SEO唐朝 微信：1010519812
