robots mate是什么
robots meta标签主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样， robots meta标签也是放在页面的head>中，专门用来告诉搜索引擎机器人如何抓取该页的内容。
follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;
robots meta标签的缺省值是index和follow;
index指令告诉搜索机器人抓取该页面;
robots meta标签中没有大小写之分，name=“robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=“ baiduspider' content部分有四个指令选项index、noindex、follow、nofollow，指令间以“，”分隔。
robots是什么
robots是网站跟蜘蛛间的协议，当访问站点时，它首先检查机器人是否存在于站点的根目录中。如果找到，蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。一定要注意txt文件必须放在站点的根目录中，文件名必须为小写。
robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定的内容。因此，机器人的优化将直接影响到搜索引擎对站点的收录。
只有在需要禁止抓取某些内容时，才写robots。一些服务器设置是问题：当机器人文件不存在时，它返回200个状态代码和一些错误消息，而不是404页面，这是因为搜索机器人误读了robots文件信息。
Robots和robots mate的区别
目前来说，所有的搜索引擎都支持和遵守robots.txt的规定，但是支持robots mate的却比较少，大家可以酌情使用。
相关阅读
提到反向链接很多人会疑惑？很多站长仍然错误地认为反向链接是外链。我一直在想，因为很多网上的解释太模糊了，基本上告诉你如何
据信，大多数SEO已经接触到了泛站组，也许您已经看到了使用镜像站组克隆模板的操作，而一些灰色帽子SEO人员也使用站组来制作链轮
很多站长在网站优化的时候，有时候都搞不懂一个问题，就是二级域名和二级目录有什么不一样，现在小编就来为大家讲讲，主域名通常指的
我们知道SEM和SEO的关系其实是并列的，而不是付费广告和自然排名。很多人都不理解这两个概念，会有SEM付费广告，SEO是一种自然排
MySQL和SQL是什么？许多PHP初学者并不十分清楚MySQL、MyAdmin和SQL之间的区别。下面的将让您了解MySQL和SQL之间的区别。
