对机器人来说，首先，它是一个协议，在网站爬行中扮演着非常重要的角色。创建机器人的意义在于，它能让蜘蛛服从命令和安排，解决网站的一些隐私和不必要的爬行页面，同时强调一定的部分必须被抓取。
不想显示快照怎么办
在你不想展示快照页面的head标签中加入 meta name=“robots” content=“noarchive”（禁止所有搜索引擎产生快照）
在你不想展示某个搜索引擎出现快照页面的head标签中加入 meta name=“360Spider” content=“noarchive”（禁止360产生快照，name后面的换成蜘蛛名字即可）
如何编写robots文件
robots看似一个非常简单的操作，但平时如果没有太注意或多操作，你写的robots未必就是正确的，因为里面涉及到一些指令，没有写对可能会影响网站的抓取。小编东莞SEO就在做网站的时候，由于robots的错误，导致网站一直没有收录，今天小编冯超就为一些刚从事网站SEO优化的朋友分享一下如何快速的制作robots.txt文件。
1、打开网上工具：http://tool.chinaz.com/robots/
根据你的需要来更改为自己的网站和网站地图的格式，如果不禁止蜘蛛爬行就默认允许，如图
2、更改完之后，就生产代码，并创建记事本，命名为robots.txt，复制代码保存即可
注意事项：
生成的有效代码如下：
User-agent: *
Disallow:
Sitemap: http://www.yunmajp.com/sitemap.xml
其中，
①“User-agent: *”的通配符"*"代表所有机器人，
②“Disallow: ”代表不禁止蜘蛛抓取页面，千万别写成“Disallow: /”，差个“/”就是代表禁止抓取所有页面，
③Sitemap: http://www.yunmajp.com/sitemap.xml：就是网站地图的地址，引导蜘蛛爬行你的网站地图
相关阅读
新手SEO站长可能很少了解robots文件，因为这个文件通常写好之后基本是不会再修改了的。当然，除非某天你不想蜘蛛抓取你的网站了
当个人站长推广网站时，或者网站被搜索引擎收录和索引时，有哪些方法可以提高映射率？边晓在这里和大家谈谈如何提高网站收录索引
许多人认为SEO就是理论上的知识，其实这个观念并不正确。SEO并没有什么理论，只有不断地通过实践而总结出来的结论。如果你
网站页面质量，会影响百度蜘蛛对你页面的抓取概率，百度快照是根据你网站被抓取页面而系统存在的一种临时页面，你网站临时打
做网站的SEO优化是需要学会一些方法的，只有掌握了SEO优化的方法，才能把网站排名做好，在平时网站SEO优化工作中要关注一下这几点
