网站日志用于网站建设的功能相当于对我们房间的监控摄像头,它可以记录,在这段时间内,我们家的所有访客都要访问本记录。那么分析网站日志有什么作用?如何分析网站日志中的内容?
分析网站日志有什么作用?
1、我们可以比较准确的定位搜索引擎蜘蛛来爬行我们网站的次数,可以屏蔽伪蜘蛛(此类蜘蛛多以采集为主,会增加我们服务器的开销);
2、通过分析网站日志,我们可以准确定位搜索引擎蜘蛛爬行的页面以及时间长短,我们可以依次有针对性的对我们的网站进行微调 ;
3、http返回状态码,搜索引擎蜘蛛以及用户每访问我们的网站一次,服务器端都会产生类似301,404,200的状态吗,我们可以参照此类信息,对我们出现问题的网站进行简单的诊断,及时处理问题。
如何分析网站日志中的内容?
一、注意那些被频繁访问的资源
如果在日志中,你发现某个资源(网页、图片和mp3等)被人频繁访问,那你应该注意该资源被用于何处了!如果这些请求的来源(Referer)不是你的网站或者为空,且状态码(Http Code)为200,说明你的这些资源很可能被人盗链了,通过 Referer 你可以查出盗链者的网址,这可能就是你的网站流量暴增的原因,你应该做好防盗链了。
二、注意那些你网站上不存在资源的请求
如果某些请求信息不是本站的资源,Http Code不是403就是404,但从名称分析,可能是保存数据库信息的文件,如果这些信息让别人拿走,那么攻击你的网站就轻松多了。发起这些请求的目的无非就是扫描你的网站漏洞,通过漫无目的地扫描下载这些已知的漏洞文件,很可能会发现你的网站某个漏洞哦!通过观察,可以发现,这些请求所使用的Agent差不多都是Mozilla/4.0、Mozilla/5.0或者libwww-perl/等等非常规的浏览器类型,以上我提供的日志格式化工具已经集成了对这些请求的警报功能。我们可以通过禁止这些Agent的访问,来达到防止被扫描的目的,具体方法下面再介绍。
三、什么样的场景下需要网站日志分析
那么对于一个职业网站优化人员日志分析的能力是必须要掌握的。那什么样的场景下需要日志分析,下面我们看一下.
1.比如说我们创建了一个网站,提交给搜索引擎,后来很长时间没看到搜索引擎的收录,那这个时候我们就需要下载日志来分析一下,看搜索引擎到底有没有过来抓取。
2.我们网站原来可能排名很好, 后来突然间发现异常了,那我们就需要把日志下载下来看一下搜索引擎这段时间过来抓取我们网站的时候, 它是不是有一些异常情况。
3.网站如果被人攻击或者入侵,那也要下载一下网站日志来分析我们这个问题出在什么时间点,什么地方?
做网站日志分析,我们采用的一个方法一般是对比法, 就是我们网站和排名都正常的情况的日志, 和现在出问题的时候的日志,拿出来进行对比, 采用光年日志分析,把这个数据拿出来看一下,看问题出在哪一个目录,或者说哪一些页面, 然后再去针对性的去研究一下。
相关阅读
作为一个站长,你需要明白网站日志是什么,如果你不想去关心它,我只能说你是一个无能的网站管理员,一旦网站出了问题,你就什么也做不
网站访问记录日志能方便的帮助我们开发人员准确的定位到问题,能帮助我们进行错误重现,快速的解决问题,节省时间。这里我将项目
相信很多站长都在想破脑袋,期望自己的网站在百度上的排名不断提升。于是不断的进行网站内容的更新和各种外链的建设,现在也在开
在seo逐步普及的大浪潮下,许多所谓的seoer都将她简单归结为内容和外链,其实这个说法并没有错,内容和外链的确是做seo最为重要的两大
收集web日志的目的Web日志挖掘是指采用数据挖掘技术,对站点用户访问Web服务器过程中产生的日志数据进行分析处理,从而发现Web用户的