为什么要设置禁止收录机制,如何禁止收录。搜索引擎蜘蛛继续在互联网上爬行。如果我们的网站不禁止搜索引擎上市，它将很容易被搜索引擎上市。然后让我们谈谈如何禁止搜索引擎列出网站内容。
为什么要设置禁止收录机制
有些时候，站长并不希望某些页面被抓取和收录，如付费内容、测试阶段的页面、复制内容页面等。网站上不出现链接，或者使用JavaScript、Flash链接，使用nofollow等方法都不能保证页面一定不会被收录。站长自己虽然没有链接到不想被收录的页面，其他网站可能由于某种原因出现导入链接，导致页面被收录。
要确保页面不被收录，需要使用robots文件或Meta Robots标签。
如何禁止收录
新建一个命名为“robots”的文本文件，robots文件是搜索引擎和网站之间的一个协议。
设置搜索引擎和网站之间的协议，User-agent:*表示和所有搜索引擎协议适用;Disallow:/表示禁止抓取收录全站。
如果只是禁止某一个搜索引擎抓取收录网站的某一个目录，比如要禁止百度抓取收录jinzhi目录，则如图设置。
保存文件后，把文件上传到服务器根目录，即表示搜索引擎和网站之间的协议生效，可以禁止搜索引擎抓取收录网站内容。
除了设置robots协议之外，还可以在网页代码里面设置。在网页之间加入代码。表示紧致所有搜索引擎抓取网站和显示快照。
如果要针对某一个搜索引擎禁止抓取，在网页之间加入代码，表示禁止百度抓取，表示禁止谷歌抓取，其他的搜索引擎一样原理。
