当你的网站发布以后，一定会有一些不愿让百度网爬取的网页页面、文件，对于这类难题，人们还要应用协议去屏蔽。那麼这一协议是啥？到底要怎么写这一协议呢？
什么叫robots协议
搜索引擎协议也就是说人们常说的robots.txt。它是人们网站和搜索引擎中间的协议。当搜索引擎赶到人们网站的那时候，会先看一看有木有这一文件，在开展下一步的爬取。可是必须留意的是，这一协议仅仅人们单方的，搜索引擎遵循是否，人们管不住。可是通常情况下搜索引擎会遵循这一协议。
这些状况必须应用robots
1.统一途径
在人们的网站中，偏向网页页面的途径一定是有且只能一个。一旦多方式偏向一个网页页面，会造成百度网不清楚百度收录哪个网页页面。因此人们要是屏蔽掉一个，让网站收录人们想让百度收录的。
2.检索途径
假如人们网站中有输入框，那麼人们还要把搜索结果面给屏蔽。目地就是说为了避免许多人应用这一输入框捣蛋。
3.标识途径
假如人们网站有标识网页页面，这一标识网页页面就是说汉语的连接，汉语连接百度网不了解，因此要屏蔽。
4.js文件
针对js文件或是别的无实际意义的文件，人们能够屏蔽。
常见问题：
1.基本英语的语法中PS的点。
2.起效時间
robots是人们和搜索引擎中间的一个单方的协议，并不是人们今日写上，明日百度网就会遵循。想让百度网遵循是必须一个全过程的，一般状况下是两月。可是都不清除当日写，当日起效。因此在变更robots的那时候，一定要小心小心再当心。一旦你的robots不对，对全部网站的危害是极大的。
3.不要随意的屏蔽整站
一些初学者在建立网站的那时候，沒有整体规划，随搭随建，网站不可以一下子搞好，常常做个半拉，因此许多初学者就会将人们的网站所有屏蔽。当你确实那么干了，那麼我想恭喜恭喜，爬虫将会在将来的两月中不到浏览你的网站。就算是你来请爬虫也不容易来。因此这儿给初学者的提议就是说一定要对网站的建设好，一次性构建进行。等候百度收录。
相关阅读
许多入门新手将会不明白什么叫百度权重，在网上大伙儿也可以搜获得材料，这儿做一下填补表明。解析一下百度权重的含意和功效。
搜索引擎蜘蛛非常喜爱网站地图。网站地图是一个网站一切链接的容器。许多网站的衔接层次比较深，蜘蛛很难抓取到，网站地图可以便
很多时候由于各种原因需要对网站名称进行修改，这种行为是会影响SEO的，从结果分析来看，改得好则有利于网站的SEO结果，反之亦反。网
SEO工作是可以流程化的，SEO工作不是杂乱无章的，在必要的时候，在优化网站之前制作一张SEO工作流程图，可以看清形势，也可以指导我们
做SEO都需要发外链，同样的工作最终的结果却是千差万别，有些人发的外链让网站优化的结果更好，有些人发外链带给网站的优化结果是