虽然在日常SEO工作中很少被触及，但它的存在意义重大。SEO的作用不再局限于页面的隐私，还在于清理页面的某些路径，例如删除死链非常有用。下面，跟随小编的SEO技术博客，充分识别真正的bots.txt文件。
一、 SEO主体框架
目前行业中较为科学且被大多数从业人员认可的框架或者公式为：
流量=整体搜索量 X 整体收录 X 整体排名 X 整体点击率
整体搜索量，即一段周期内行业的总搜索流量。比如A行业，日均总搜索流量为1000万，那么该行业的日均整体搜索量即为1000万。很多行业都有淡旺季之分，因此有时SEO流量提升或者下降了，并不一定就真是SEO操作成功或者失败了，有可能是行业的整体搜索趋势影响的。
整体搜索量直接决定了行业内每家网站所能获得的流量空间有多大。比如A行业日均1000万搜索量，B行业日均500万搜索量，一般说来A行业网站的SEO流量空间要比B行业大，即SEO流量天花板前者要比后者高。
二、SEO的整体收录
整体收录指的是网站在搜索引擎中被收录的页面数量。比如A网站页面总量为10万，百度收录了8万，整体收录就是8万。
整体收录直接决定了网站有多少页面可在搜索引擎中获取流量。比如旅游行业B、C网站整体收录分别为1000万与500万个页面，这就说明前者有1000万个页面可以获取搜索流量，而后者只有500万，在两站SEO水平差距不大的情况下，很显然前者能获取更多的SEO流量。
衡量一个网站收录好坏的指标为收录率，即，收录率=被收录的页面数量/网站页面总量。前面说的A网站，收录率即为80%。一般来说，收录率的好坏基本遵循以下规律：低于60%为差，60%-80%为良好，80%以上为优秀。是不是和上学时的成绩优良评价标准类似，只是这里几乎无100%收录的，除非网站是单页面站点。
以上是笼统的来介绍收录，真正实际操作中会精确到具体页面类型的收录率，比如下图：
虽然SEO流量被各类平台瓜分了很多，但SEO依然是网站高价值流量的来源渠道之一，是仅次于直接访问的高质量流量。同时，搜索引擎中依旧有大量的搜索需求没有被满足，如何找到这块需求，并且生成相应的内容满足需求，这也是一个非常不错的项目方向。
