爬虫主要是针对现在网络上的海量资源设计的，当我们在搜索引擎上设定了一个搜索词组后，网络爬虫就能根据设定的抓取目标，有选择的访问网络上的网页与相关的链接，获取所需要的信息。那么，网络爬虫在进行信息抓取时，最重要的就是通过网站的导航来进行抓取，那么它是如何进行运作的呢?爬虫，也可以称为网页蜘蛛、网络机器人、蠕虫等，还经常被称为网页追逐者)，这是一种按照一定的规则，自动地抓取网络信息的程序或者脚本。
用户想要深入访问网站的核心部分，就需要网络爬虫的精确抓取。所以，一个网站如果有结构清晰的网站导航，将会对网站的优化发挥巨大效用，它的设计能对网络爬虫有序的深入访问网站带来很多便利，是网络爬虫在进行信息抓取是十分重视的一个项目。我们一般可以从以下几个方面来对网站的导航进行优化。
第一是用文字链接设置导航。虽然现阶段科技在告诉的发展，但是网络爬虫在仍然将文字作为最主要的内容进行识别，对于 flash 以及JS等识仍有着一定的难度。因此，用文字链接设置导航对面向网络爬虫企业网站优化发挥重要作用。
第二是导航关键词的设置。对于导航关键词进行设置的时候，一般选用目标关键词的长尾词比较适合，他能有效的防止与首页发生冲突=。同时，锚文字也具有重要价值，将导航上锚文字的其应用于导航关键词的设置中具有实践意义，可根据从左至右，价值的重要性来设置，而对没有实际作用的栏目应尽量避免使用。
第三是网站地图的设置。网站地图与网站导航有着异曲同工之妙，因此，网站地图的作用十分重要。不论是 html 还是 xml，现在的主流搜索引擎都支持。对于网络爬虫无法识别的图片与动态网页的情况，网站地图能有效解决。当站点栏目或内容过多时，将网站地图应用其中，能够满足用户的深入访问。而且对网络爬行的爬行和抓取也发挥重要作用。