搜索引擎蜘蛛抓取的流程如何查看蜘蛛的来访情况

　　在搜索引擎优化工作中，我们经常关心网站如何优化如何挖掘关键词而忽略了对蜘蛛的理解。虽然搜索引擎优化是一个相对复杂的工作系统，但SEO人员必须有详细的理解，这有利于指导我们的有效工作。

　　搜索引擎蜘蛛抓取的流程

　　对于搜索引擎而言，常见的抓取流程包括：种子页URL提取->整理新的待抓取URL集合->合并更新链接（包括已经抓取过的链接）->解析页面内容->进入链接总库（索引库）

　　其中，在解析页面内容，进入索引库的时候，它需要经过多层复杂的系统计算，评估目标URL的质量，从而决定是否进入低质量库。

　　如何查看蜘蛛的来访情况

　　通过观察日志中的信息，你可以看出你的网站被蜘蛛访问的频率，进而可以看出你的网站是否被搜索引擎青睐，这些都是SEO所关心的问题吧。日志格式化工具已经集成了对搜索引擎蜘蛛的提示功能。常见搜索引擎的蜘蛛所使用的Agent列表如下：

　　Google蜘蛛：Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

　　Baidu蜘蛛：Baiduspider+(+http://www.baidu.com/search/spider.htm)

　　Yahoo!蜘蛛：Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)

　　Yahoo!中国蜘蛛：Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

　　微软Bing蜘蛛：msnbot/2.0b (+http://search.msn.com/msnbot.htm)

　　Google Adsense蜘蛛：Mediapartners-Google

　　有道蜘蛛：Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/)

　　Soso搜搜博客蜘蛛：Sosoblogspider+(+http://help.soso.com/soso-blog-spider.htm)

　　Sogou搜狗蜘蛛：Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

　　Twiceler爬虫程序：Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)

　　Google图片搜索蜘蛛：Googlebot-Image/1.0

　　俄罗斯Yandex搜索引擎蜘蛛：Yandex/1.01.001 (compatible; Win16; I)

　　Alexa蜘蛛：ia_archiver (+http://www.alexa.com/site/help/webmasters)

　　Feedsky蜘蛛：Mozilla 5.0 (compatible; Feedsky crawler /1.0)

　　韩国Yeti蜘蛛：Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)

　　总结：还有一点要介绍的是当网站遭遇搜索引擎K掉的时候，网站日志可以给我们提供被K掉的原因(我是为站群的朋友考量)，并且通过网站日志相关数据，可以看到网站什么时候搜索引擎恢复正常访问，这样我们可以选择继续做或者放弃，虽然很无奈，但却也是不得已而又明智的选择。

相关阅读