网站日志，也称为爬虫日志，记录搜索引擎蜘蛛爬行到我们的站点，根据日志，我们可以确定搜索引擎蜘蛛每天来我们网站的次数、时间、页面爬行和返回的HTTP状态代码。以下是SEO理解和分析站点日志的三个步骤。
如何分析爬虫日志
1、各大搜索引擎的蜘蛛名称：
百度（Baidu）爬虫名称（Baiduspider）
谷歌（Google）爬虫名称（Googlebot）
雅虎（Yahoo）爬虫名称（Yahoo Slurp）
有道（Yodao）蜘蛛名称（YodaoBot）
搜狗（sogou）蜘蛛名称（sogou spider）
MSN的蜘蛛名称：msnbot
2、IIS日志手动分析：
案例日志：61.135.168.22 – – [11/Jan/2009:04:02:45 +0800] “GET /thread-7303-1-1.html HTTP/1.1” 200 8450 “-” “Baiduspider(+http://www.baidu.com/search/spider.htm)”
分析：
1、61.135.168.22 是访问了是服务器ＩＰ为这个的网站；
2、11/Jan/2009:04:02:45 表示蜘蛛爬行时间；
3、GET /thread-7303-1-1.html HTTP，表示蜘蛛抓取了这个页面；
4、200 状态码表示蜘蛛抓取页面成功;404表示蜘蛛抓取页面失败；
5、8450 表示此次抓取了8450个字节；
6、Baiduspider(+http://www.baidu.com/search/spider.htm)表示百度蜘蛛的名称。
查看爬虫日志的工具有哪些
光年日志分析工具（光年日志分析工具的下载和使用教程）
这个工具非常好用，而且比人工省时省力，悟道SEO强烈推荐大家使用这款工具。
网站的日志，我们每天都要去看，了解蜘蛛来我们网站抓取页面的情况，那些页面是蜘蛛抓取不到的，为什么抓取不到？这些都可以通过网站日志分析，查找原因，解决问题。
