燕郊seo
前一段时间由于部分站长对robots文件的误读，导致了一则虚假消息的诞生--“新浪封杀门”，消息称新浪博客开始封杀百度蜘蛛，其判断的依据只不过是新浪博客在的robots文件中有一段"User-agent：Baiduspider "，这个其实上传于2005年的robots迷惑了不少站长，真的以为新浪博客开始封杀百度了，一时间网上到处都是外链不好做的呼声，其实如果你熟悉robots的写法，就可以很轻松的识别这条虚假信息。
robots.txt文件放置于网站根目录下，搜索引擎蜘蛛访问一个网站后最新查看的就是robots文件，它就相当于你网站的“门卫”，如果“门卫”拒绝搜索引擎蜘蛛进入，则搜索引擎无法收录你网站的任何界面。
在“百度搜索帮助中心”(http://www.baidu.com/search/robots.html)中，
对如何禁止百度蜘蛛访问是这样定义的 ：
User-agent: baiduspider
Disallow: /
仅允许百度蜘蛛的访问：
User-agent: Baiduspider
Disallow:
禁止百度蜘蛛访问特定目录：
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
结合这3种语法，我们再来看看网上流传的新浪博客的robots写法：
User-agent： Baiduspider
Disallow： /admin/
Disallow： /include/
Disallow： /html/
Disallow： /queue/
Disallow： /config/
其真正的目的只是禁止百度搜索引擎访问5个后台目录，和内容页并没有关系，因此说那个robots并不是封杀百度蜘蛛的，而是告诉百度蜘蛛要“去改去的地方”。
一个正确有效的robots文件可以帮助你更好的被百度收录，各位新手站在朋友如果对robots还不熟悉，可以到“百度搜索帮助中心”(http://www.baidu.com/search/robots.html)下载标准案例，将里面的内容改成自己的网址即可。
以上是我的一点体会，希望有朋友们转载的时候可以保留我的链接http://www.jfbest.com 多一份保，留多一份口碑，多一份运气，多一份财富!谢谢!
相关阅读
从小型的企业站到大型的门户站，以及商城网站等一系列企业网站都离不开分析，分析最关键的就是分析竞争对手的网站，孙子兵法中有一句老
如何正确提高网站点击量？所谓企业网站，就是企业在互联网上进行网络建设和形像宣传的平台。根据行业特性的差别，以及企业的建站目的和
因需求要增加一个新的测试模块，于是要在一堆Module中再添加一个Module，单纯的我没有丝毫杂念的开始进行添加了。 1. 要在哪个目录
第一步，注册一个有趣味的微博名字，如减肥瘦身百科，护肤美妆百科，美食营养百科。这样做的目的是便于搜索，目前也是女生关注最多的话题。
引言： 如何写出最有价值的软文，一直都是营销推广的核心！应该用怎样的方法，才可以将软文的价值完全发挥出来？又有怎样的写作技巧，让我们