作为一个合格的SEOER，我们与网站和搜索引擎保持联系。在这种情况下，我们必须对搜索引擎有一定的理解，只有这样我们才能产生效果。严格来说，搜索引擎是通过一个"爬虫(蜘蛛)"这样的计算机程序来捕获我们网页上的信息。一般来说，搜索引擎爬虫的工作原理分为四个环节：爬行、过滤、索引收集和排序。让我们来看看它。
怎么理解搜索引擎爬虫的工作原理
1、种子URL
所谓种子URL所指的就是最开始选定的URL地址，大多数情况下，网站的首页、频道页等丰富性内容更多的页面会被作为种子URL;
然后将这些种子URL放入到待抓取的URL列表中;
2、待抓取URL列表
爬虫从待抓取的URL列表中逐个进行读取，读取URL的过程中，会将URL通过DNS解析，把这个URL地址转换成网站服务器的IP地址+相对路径的方式;
3、网页下载器
接下来把这个地址交给网页下载器(所谓网页下载器，顾名思义就是负责下载网页内容的一个模块;
关于蜘蛛爬虫
1、源代码
对于下载到本地的网页，也就是我们网页的源代码，一方面要将这个网页存储到网页库中，另一方面会从下载网页中再次提取URL地址。
2、抽取URL
新提取出来的URL地址会先在已抓取的URL列表中进行比对，检查一下这个网页是不是被抓取了。
3、新URL存入待抓取队列
如果网页没有被抓取，就将新的URL地址放入到待抓取的URL列表的末尾，等待被抓取。
就这样循环的工作着，直到待抓取队列为空的时候，爬虫就算完成了抓取的全过程。
然后以下载的网页，就都会进入到一定的分析中，分析后进行索引，我们就能看到收录结果了。
不过，关于搜索引擎蜘蛛的抓取原理，各位优化人员，只要将基础部分进行掌握，那么对于我们的seo优化工作就是比较充分了。
许多网站管理员认为，网页在被索引之前需要被搜索引擎收录。事实上，这是一个错误的理解。我们可以通过搜索页面的链接地址来看到结果，但当我们搜索当前页面的完整标题时，我们找不到它。事实上，这是包含页面的情况，但它没有被索引。正因为页面没有进入搜索引擎的索引库，用户无法检索它。
