robot.txt
一直以来,大家都在寻找各种方式向搜索引擎提供自己网站的内容,其中就包括sitemap,甚至很多文章介绍说在robots.txt增加sitemap的指向效果非常明显。
是否真的有那么神奇呢?其实不然!
笔者因为工作的原因,有幸接触到了一次实战,而且是3个规模不一的站点同时向robots.txt中增加sitemap的链接指向。
sitemaps.org网站上有具体的sitemap的格式以及参数设置办法。
根据不同的站点规模,我们选择了不同的方式;
增加的格式如下:
站点1规模较大,使用的是sitemap的索引文件,索引文件再包含其他sitemap文件。
在robots.txt的最后一行增加 Sitemap:http://www.web1.com/sitemap.xml
sitemap.xml索引文件的内容格式如下:
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>http://www.web1.com/sitemap1.xml</loc>
<lastmod>2011-05-01T18:23:17+00:00</lastmod>
</sitemap>
<sitemap>
<loc>http://www.web1.com/sitemap2.xml</loc>
<lastmod>2011-05-01</lastmod>
</sitemap>
</sitemapindex>
站点2和站点3规模都较小,采用的是直接指向具体的sitemap.xml
在robots.txt的最后一行增加 Sitemap:http://www.web2.com/sitemap.xml
具体格式如下:
<?xml version="1.0" encoding="UTF-8"?><urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.web2.com/</loc>
<lastmod>2011-05-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
增加完毕3天后,就有了变化,情况并不像预期的那样好,具体表现如下:
1、百度:3个站的收录迅速变慢,尤其是站点1,从之前的每天收录2000多页变成了每天只收录10几页或者干脆不收录,分析日志发现百度的蜘蛛来了,但收录的内容极少,或者干脆只停留几分钟就走了,站点2和站点3的每天新收录数变成了0,之前是每天基本有10页左右。
2、Google:整体来说,google的效果最好,站点1的收录迅速上升了,并且很多之前从不收录的页面也开始收录了,站点2和站点3的收录变化不是很大,排名有所上升,不知道是不是碰巧。
3、soso:所有站点的收录开始减少,基本没有收录新增加的页面,尽管站点1每天的更新量都在2000左右。
4、sogou:基本类似于百度。
5:bing:收录有小幅上升,但不是很明显。
出现这么糟糕的后果,使我们团队所有人员都不愿意看到的,于是果断的删除了所有的sitemap指向;
3天过后,百度收录开始正常,google变化不大,其他搜索引擎的收录基本恢复正常。
由此可以推断,各个搜索引擎对于sitemap的理解和接受是不一样的,这里面的技术问题我们也无法去讨论,但是实践证明,如果你的站点结构合理,收录也正常,完全没有必要去做什么sitemap,笔者个人认为,sitemap比较适合小规模的站点,并且是站点结构不太合理的小规模站点,如果你的网站结构合理,搜索引擎均能自己完成收录。
另外比较重要的一点,如果你已经做了sitemap,就最好保持时刻更新,最好是程序自动化的更新。
以上只是笔者个人的一些实践体会,不能保证实验结果一定正确,也不具备指导性,只是和广大朋友探讨交流。
本文首发 文档资料交易平台:缺少网 http://www.queshao.com 转载必须注明出处!
相关阅读
今天seo实验室小编要来给各位讲述的内容是爱淘宝的每日红包链接在哪?爱淘宝红包怎么使用?如果大家感兴趣的话,那就跟上小编我的脚
一、决策树决策树– 提供了一种展示类似在什么条件下会得到什么值这类规则的方法– 每个分支要么是一个新的决策节点,要么是树的叶
设计是感性和理性的混合体。但在UX设计领域,我们更多依靠的还是理性。本文从产品的完整用户流:注册产品 — 首次使用 — 持续使用,分
声明:本文来自于微信公众号蝙蝠侠IT(ID:batmanit),授权站长之家转载发布。在做SEO项目的时候,我们无法脱离与外链之间的关系,于是你总
jquery serializeArray()、serialize() 增加数据
一、提交表单时添加参数 1、#serializeArray var dataParam = $("#form1").serializeArray(); //添加age="18" dataParam.push({"