网站地图给蜘蛛爬行构造了良好的通路

　　搜索引擎的工作机制，是每天放出蜘蛛爬虫到互联网上抓取新网页，然后根据自身的一套复杂算法机制给予这些页面排名。

　　而如果这些互联网上处于节点位置的网站，不能很好的让爬虫访问，无疑就加重了搜索引擎的负担，当然就很难完整的爬行网站所有页面。

　　而网站地图恰很好的解决了这一难题，爬虫访问网站首先访问robots，我们在robots里写上网站地图的地址，等于告诉爬虫先爬地图。

　　网站地图里就会有很多其他页面，这样就给蜘蛛对我们网站的爬行创造了良好的通路，也就更利于爬虫对整个网站页面的抓取。