robots.txt文件是什么,应该放在哪里. 搜索引擎机器人通过链接到达互联网上的每个网页，并抓取网页信息。当搜索引擎机器人访问一个网站时，它会首先检查在网站的根目录下是否有一个名为robots.txt的纯文本文件。当我们的网站上有我们不想被搜索引擎包含的东西时，我们可以通过设置robots.txt文件来通知搜索引擎机器人。
robots.txt文件是什么
搜索引擎机器人通过链接到达互联网上的每个网页，并抓取网页信息。当搜索引擎机器人访问一个网站时，它会首先检查在网站的根目录下是否有一个名为robots.txt的纯文本文件。当我们的网站上有我们不想被搜索引擎包含的东西时，我们可以通过设置robots.txt文件来通知搜索引擎机器人。
如果网站上没有被搜索引擎禁止包含的内容，则robots.txt文件不需要设置或设置为空。
robots.txt文件应该放在哪里?
Txt文件必须放在网站的根目录下。
放置在子目录中的Txt文件搜索引擎不能被抓取，所以它们不会有任何效果。
例如:
Http://www.seotesttools.com/robots.txt作品
Http://www.seotesttools.com/bbs/robots.txt是无效的
如果不能控制根目录中的robots.txt，可以通过在子目录页面中使用标记来防止页面被包含。
robots.txt文件是必需的吗?
从搜索引擎优化的角度来看，必须建立robots.txt文件，因为:
1.这种情况经常出现在网站上:不同的链接指向相似的网页内容。这不符合搜索引擎优化的“网页内容各向异性原则”。Txt文件可以用来阻止二级链接。
2.所有不符合搜索引擎友好性要求的链接都需要在网站修改或网址重写优化期间被阻止。Txt文件删除旧链接符合搜索引擎友好性。
3、有些页面没有关键词，屏蔽掉比较好。
4.一般来说，最好在站点中屏蔽掉搜索结果页面。
