SEO网络优化中,百度蜘蛛的爬行规则图,它到处是怎样抓取网站的页面的?百度蜘蛛构成陷阱有几种表现形式
基本形式
1.Flash动画
新人站长或许会疑问,为什么flash动画是属于蜘蛛陷阱的一种,原因很简单,百度蜘蛛无法识别flash。Flash自然很绚丽,有很好的视觉效果,但蜘蛛不能读取,有什么用?所以seo公司建议,要么将flash去掉,要么在首页flash文件上设置一个通往html版本的链接,帮助蜘蛛爬行。
2.JS链接
同理,Javascript链接也无法被蜘蛛读取,所以它也是一个蜘蛛陷阱。当然不是说网站中完全不能放JS,在蜘蛛不抓取的部分可以放,如果在蜘蛛爬行的部分放JS,一定会阻碍蜘蛛爬行。当然,现在据说已经百度已经可以抓取JS了,站长们可以验证一下。
3.动态URL
百度官方说过,无论是动态的URL还是静态的URL,蜘蛛都可以读取。但是,站长在做网站优化的时候发现,如果设置了动态的URL,因为里面参杂了很多问号、等号参数,容易让蜘蛛造成死循环。所以,一般情况下静态URL对蜘蛛更加友好。
主要形式
1.Frame框架
Frame框架和flash一样都是阻碍蜘蛛爬行的一道墙。
2.要求登录
为了获得更多的用户资料,方便后期的数据总结,很多站长设置过网站经过登录之后才能访问。先不说这种强制登录会造成用户体验地不友好,最主要的是,蜘蛛可是代码程序,它怎么可能注册登录网站?开玩笑吧?
3.强制使用Cookies
为了方便追踪用户信息,有些网站设置了强制用户登录、跟踪用户访问路径、强制用户使用Cookies等功能,如果用户不按照这种办法,就无法正常显示网站。百度蜘蛛其实就相当于一个禁止cookies的浏览器,强制使用cookies只会给蜘蛛爬行造成困扰。
另外,为了获得更好的点击率,除了301重定向之外,有些站长还设置了各种跳转。本来用户达到了一页面,什么都没看就跳转到另外一个页面。蜘蛛对这类跳转非常敏感。无论是js跳转还是代码跳转,都会将蜘蛛搞糊涂。