必威体育Betway必威体育官网
当前位置:首页 > 网站建设

请谨慎在robots.txt中增加sitemap链接

时间:2018-11-25 23:41:02来源:网站建设作者:seo实验室小编阅读:58次「手机版」
 

robot.txt

一直以来,大家都在寻找各种方式向搜索引擎提供自己网站内容,其中就包括sitemap,甚至很多文章介绍说在robots.txt增加sitemap的指向效果非常明显。

是否真的有那么神奇呢?其实不然!

笔者因为工作的原因,有幸接触到了一次实战,而且是3个规模不一的站点同时向robots.txt中增加sitemap的链接指向。

sitemaps.org网站上有具体的sitemap的格式以及参数设置办法。

根据不同的站点规模,我们选择了不同的方式;

增加的格式如下:

站点1规模较大,使用的是sitemap的索引文件,索引文件再包含其他sitemap文件。

在robots.txt的最后一行增加 Sitemap:http://www.web1.com/sitemap.xml

sitemap.xml索引文件的内容格式如下:

<?xml version="1.0" encoding="UTF-8"?>

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

<sitemap>

<loc>http://www.web1.com/sitemap1.xml</loc>

<lastmod>2011-05-01T18:23:17+00:00</lastmod>

</sitemap>

<sitemap>

<loc>http://www.web1.com/sitemap2.xml</loc>

<lastmod>2011-05-01</lastmod>

</sitemap>

</sitemapindex>

站点2和站点3规模都较小,采用的是直接指向具体的sitemap.xml

在robots.txt的最后一行增加 Sitemap:http://www.web2.com/sitemap.xml

具体格式如下:

<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

<url>

<loc>http://www.web2.com/</loc>

<lastmod>2011-05-01</lastmod>

<changefreq>monthly</changefreq>

<priority>0.8</priority>

</url>

</urlset>

增加完毕3天后,就有了变化,情况并不像预期的那样好,具体表现如下:

1、百度:3个站的收录迅速变慢,尤其是站点1,从之前的每天收录2000多页变成了每天只收录10几页或者干脆不收录,分析日志发现百度的蜘蛛来了,但收录的内容极少,或者干脆只停留几分钟就走了,站点2和站点3的每天新收录数变成了0,之前是每天基本有10页左右。

2、Google:整体来说,google的效果最好,站点1的收录迅速上升了,并且很多之前从不收录的页面也开始收录了,站点2和站点3的收录变化不是很大,排名有所上升,不知道是不是碰巧。

3、soso:所有站点的收录开始减少,基本没有收录新增加的页面,尽管站点1每天的更新量都在2000左右。

4、sogou:基本类似于百度。

5:bing:收录有小幅上升,但不是很明显。

出现这么糟糕的后果,使我们团队所有人员都不愿意看到的,于是果断的删除了所有的sitemap指向;

3天过后,百度收录开始正常,google变化不大,其他搜索引擎的收录基本恢复正常。

由此可以推断,各个搜索引擎对于sitemap的理解和接受是不一样的,这里面的技术问题我们也无法去讨论,但是实践证明,如果你的站点结构合理,收录也正常,完全没有必要去做什么sitemap,笔者个人认为,sitemap比较适合小规模的站点,并且是站点结构不太合理的小规模站点,如果你的网站结构合理,搜索引擎均能自己完成收录。

另外比较重要的一点,如果你已经做了sitemap,就最好保持时刻更新,最好是程序自动化的更新。

以上只是笔者个人的一些实践体会,不能保证实验结果一定正确,也不具备指导性,只是和广大朋友探讨交流。

本文首发 文档资料交易平台缺少网 http://www.queshao.com 转载必须注明出处!

相关阅读

爱淘宝的每日红包链接在哪?爱淘宝红包怎么使用?

今天seo实验室小编要来给各位讲述的内容是爱淘宝的每日红包链接在哪?爱淘宝红包怎么使用?如果大家感兴趣的话,那就跟上小编我的脚

【数据挖掘学习笔记】7.决策树与链接分析

一、决策树决策树– 提供了一种展示类似在什么条件下会得到什么值这类规则的方法– 每个分支要么是一个新的决策节点,要么是树的叶

超越可用性,为设计增加说服力

设计是感性和理性的混合体。但在UX设计领域,我们更多依靠的还是理性。本文从产品的完整用户流:注册产品 — 首次使用 — 持续使用,分

SEO外链推广,域名权重与相关性链接,谁重要?

声明:本文来自于微信公众号蝙蝠侠IT(ID:batmanit),授权站长之家转载发布。在做SEO项目的时候,我们无法脱离与外链之间的关系,于是你总

jquery serializeArray()、serialize() 增加数据

一、提交表单时添加参数 1、#serializeArray var dataParam = $("#form1").serializeArray(); //添加age="18" dataParam.push({"

分享到:

栏目导航

推荐阅读

热门阅读