网站日志
作为一名seoer，对网站日志分析是必需要掌握的一项基本的技能，通过日志分析可以分析爬虫抓取页面有效性,通过日志分析蜘蛛返回的状态码能及时发现网站里面是否存在错误或者蜘蛛无法爬取的页面，排查网站页面中存在的404错误页面，500服务器错误等这些噪音内容上噪音页面上（重复页面，低质量页面，空内容页面，404页面，不排名页面等）
1、 可以分析爬虫抓取页面有效性（减少搜索引擎在一些噪音页面上：重复页面，低质量页面，空内容页面，404页面，不排名页面 的抓取频率）；
2、排查网站页面中存在的404错误页面，500服务器错误等
3、页面重要内容是否被爬虫完整爬到并且快速遍历；
4、正确分辨蜘蛛爬虫
二、常见HTTP状态码解读
1、200代码，表示蜘蛛爬取正常
2、404代码，访问的这个链接是错误链接
3、301代码，永久重定向
4、302代码，表示临时重定向
5、304代码，客户端已经执行了GET，但文件未变化。
6、500代码，表示网站内部程序或服务器有错
接着，我列举一个网站日志的案例：
日志里的含义，可以大家看下网站日志中各个数据都代表什么意思，总之这个文件是记录的一天发生在网站上的一些行为。当我们拿到这么一个网站日志，我们就可以审视我们的日志，并且通过对日志文件分析解决网站存在的问题；
三、日志代码解读
从日志文件当中可以解读出两个部分内容：
1、搜索引擎抓取情况
从日志文件中，可以大家看到搜索引擎抓取了一些404页面及低质量重负页面（噪音行为）
备注：可以通过nslookup ip 识别蜘蛛的真假
/date-2016-01.html（低质量重负页面）
/author-1.html（低质量重负页面）
/downloads/（低质量页面）
/contact.html（死链接接），但这里有个问题，这个页面返回的状态码为200而不是404，但页面却跳转到404页面，从中可以发现服务器设置一定有问题；
所以，当我们有一些页面不希望他们抓取的时候，我们需要在robots中进行规范。规范robots一个重要的手段，就是robots.txt。爬虫纠偏，让爬虫花更多的精力放在我的详情页面上。
2、用户访问网站情况
关于用户网站访问情况, 主要分析用户访问网站行为轨迹及用户属性，在这就不进行讲述
版权说明：如非注明，本站文章均为裕腾智工作室原创，转载请注明出处和附带本文链接
http://www.ying88.net/seoyouhua/42.html
相关阅读
C/S体系结构：Client/Server 客户机/服务器结构B/S体系结构：Browser/Server 浏览器/服务器结构URL:Universal Resource Locator 统一
seo优化其中的一项就是做写原创文章，有利于提高搜索引擎抓取，增加网站权重。软文撰写也是很有讲究的，是seo工作的一个重要的组成部分
随着互联网的发展，企业对网络营销的需求也越来越旺盛，而在此基础之上，营销型网站建设也就成为了企业的一项必要工作。通过营销型网站
9月18日，由A5站长网和南京魔苹科技公司联合主办联合主办的“2015中国地方社区网站高峰论坛”在南京苏宁威尼斯酒店举行，
最近，雅虎对外发布公告宣布，将在近期关闭旗下的"雅虎群组网站"。从10月21日起，用户将不能再向雅虎群组网站发布新内容;到12月14日，以