新闻动态
我该用robots还是canonical去屏蔽重复页?
https://www.sytm.net 发布日期:2013/9/30 12:00:35

网站有个问答平台,首页是www.sytm.net/questions.action,以翻页的形式展现问答平台所有的问题,问答还非三项,“所有问题”“待回答问题”“热门问题”。

现在的问题是,“所有问题”下的内容与问答平台首页下的内容几乎是一模一样的,链接是www.sytm.net/questions.action?view=all&typeId= (这条链接没有被收录),还有就是问答平台下有个问题分类,也是出现同样问题。

比如:网站建设

在平台首页,通过标签点击“网站建设”,链接是:

www.sytm.net/questions.action?typeId=120&page=1在“网站建设”分类下,点击“所有问题”,链接是:

www.sytm.net/questions.action?view=all&typeId=120内容页是一模一样的,相似度达95%以上。

像上述的这两种情况,我是该用robots把点击“所有问题”后的url屏蔽,还是用canonical去处理(修改url这个因为网站系统问题,开发同事说不能修改静态地址)?

都用不完了,一个是禁止抓,一个是软301,两码事、建议采用nofollow加canonical来处理所有问题。

理由:

加了nofollow之后,搜索引擎不会在通过你的内链抓到所有问题的页面去。

canonical则是针对已经被搜索引擎收录,等搜索引擎下次抓取改页面的时候就知道这个页面的唯一地址已经确认为首页,会逐步的减少这些页面的抓取量。

这样问题就解决了

如果你的重复页面URL有共同特征,比如

www.sytm.net/questions.action?view=all&typeId=120假设这些重复链接是都是这种URL,那么你直接robots.txt屏蔽URL中包含/questions.action?view=all&typeId=的链接就可以了。

更多阅读
返回列表
© 2010 TianMei Technology All rights reserved. ICP:辽B2-20150138辽公网安备 21010202000010号  目录概览