robots文件
robots.txt文件，是每一个搜索引擎蜘蛛到你的网站之后要寻找和访问的第一个文件，robots.txt是你对搜索引擎制定的一个如 何索引你的网站的规则。通过该文件，搜索引擎就可以知道在你的网站中哪些文件是可以被索引的，哪些文件是被拒绝索引的。我们就可以很方便地控制搜索引擎索引网站内容了。 在很多网站中，站长们都忽略了使用robots.txt文件。
因为很多站长都认为，自己的网站没有什么秘密可言，而且自己也不太会使用robots.txt的语法，因此一旦写错了会带来更多的麻烦，还不如不用。 其实这样的做法是不对的。如果蜘蛛在某个网站上访问了一个不存在的URL，那么就会记录下一条404信息（网页不存在），而robots.txt作为蜘蛛访问网站的第一个文件，一旦搜索引擎找不到这个文件，也会在它的索引服务器上记录下一条404信息。如果这样的404信息过多，那么搜索引擎蜘蛛就会认为该网站价值较低，从而降低对该网站的“印象分”，这就是我们经常会听到的“降低权重”。
“权重”是一个影响网站在搜索引擎排名中非常重要的因素，如果网站的权重高，那么搜索引擎蜘蛛也会频繁地访问该网站，而且网站排名也好。如果权重低，那么搜索引擎蜘蛛对于网站的访问次数也相应的要少，同时网站排名较差。而网站的权重是由很多条件所积累的，404信息就是很重要的一条，因此不得不重视。 虽然在百度的帮助文件中，有这样的一句话“请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上的所有内容，请 勿建立robots.txt文件”。
实际上百度只是担心由于网站管理员不懂得robots.txt语法，导致搜索引擎蜘蛛无法正常抓取网站，才这样写的。建立robots.txt文件还是必需的，哪怕这个robots.txt文件是一个空白的文本文档都可以。因为我们的网站毕竟不是仅仅会被百度收录，同时也会被其他搜索引擎收录，上传一个空白的robots.txt文件，至少不会导致一条404信息的产生。
本文来源：裕顺网络www.ahyushun.com如有转载请注明出处
友情提示：A5官方SEO服务，为您提供权威网站优化解决方案，快速解决网站流量异常，排名异常，网站排名无法突破瓶颈等服务：http://www.admin5.cn/seo/zhenduan/
相关阅读
我们在利用ftp的storeFile（）上传存储文件的时候，为了让上传速度提升，建议采用添加缓冲区的方式，根据上传文件的大 小，设置
Windows远程时无法复制文件--杀进程rdpclip.exe，然后再
1.远程登陆到主机上2.任务管理器杀进程rdpclip.exe3.【开始】，搜索rdpclip.exe，点击运行此时重新复制文件，可以跨主机复制啦原以为是
文章为作者经历一个项目后对配置文件的思考总结，希望能够给你一些启发。一、为什么要了解配置文件？配置文件是技术童鞋在开发过程中
words.srt代码 1 00:00:00,0 --> 00:00:10,540 旅行有起点也总有终点，旅行是结束也是重生。 生活并未给我们放纵和沉溺的机会，那
1.文件偏移 通常调用read或write每读写一个文件，就会改变文件的读写位置。在linux中同样可以使用lseek函数来修改文件偏移量，即读