新手SEO站长可能很少了解robots文件，因为这个文件通常写好之后基本是不会再修改了的。当然，除非某天你不想蜘蛛抓取你的网站了，或者网站有私密文件禁止公开，这个时候就可以通过修改robots.txt文件的语法了，具体的语法这里就不阐述了。
一、什么是robots文件?
robots.txt它是一个文本的文件，是一种存放于网站根目录下的文本文件，它通常会告诉搜索引擎的抓取程序(又称网络爬虫或蜘蛛)，这个网站中有哪些内容不应该被搜索引擎的抓取程序获取的，又有哪些是可以被抓取程序获取的。
robots.txt这个robots必须是要小写的，这是跟网络蜘蛛建立的一个协议，网络蜘蛛来你的网站的时候第一会去看的就是你网站根目录的robots.txt协议文件，它会根据你的规定来进行抓取，但是有些傲娇的网络蜘蛛它不遵循规则，一般网络蜘蛛都会会遵循的，要是你网站根目录没有这个文件的话网络蜘蛛就会沿着我们网站上面的链接一个一个进行抓取。
二、robots文件的作用有哪些?
(1)它可以引导搜索引擎的蜘蛛抓取指定的栏目或者是内容。相当于你去一个陌生的城市，有人给你带路一样。
(2)当我们网站改版或者是URL重写优化时屏蔽不好的链接。不到万不得已千万不要进行网站改版，这个对网站伤害很大的，会引起降权或者是排名收录全掉。
(3)可以屏蔽死链接和404错误页面。随着网站壮大，死链接和404错误页面是在所难免的。
(4)屏蔽那些无内容和无价值的页面。
(5)屏蔽重复页面，比如说评论页、搜索结果页。
(6)屏蔽任何不想被收录的页面。
(7)引导蜘蛛来抓取网站地图。让蜘蛛更快速来爬取我们网站的链接。
总结：因为robots.txt文件是网站跟蜘蛛的一个协议，蜘蛛来抓取网站时必然先(理论上)遵守协议。所以很多网站robots.txt文件就出现了一种情况，那就是把网站地图sitemap放进去，如峰峰的博客也不例外哦，这样自然是为了吸引蜘蛛快速抓取网站链接，便于收录。还有就是查询别的网站robots.txt文件时，可直接在域名后面加一个robots.txt即可一览无遗。
相关阅读
robots是什么?robots和robots mate的区别
robots mate是什么 robots meta标签主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)
我们先来了解一下什么是robots协议，Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Rob
robots协议又是什么？该如何书写它呢？robot协议就是给搜索引擎蜘蛛的一个规定，我们利用这个文件来限制搜索引擎的抓取范围，尊
当你的网站发布以后，一定会有一些不愿让百度网爬取的网页页面、文件，对于这类难题，人们还要应用协议去屏蔽。那麼这一协议是啥？到
搜索引擎三巨头打的不亦乐乎，但偶尔也合作一下。去年Google，雅虎，微软就合作，共同遵守统一的Sitemaps标准。前两天三巨头又同时宣布，共
