网站页面重复收录该如何处理?

　　网站页面重复收录该如何处理?

　　我们可以从以下四个方面着手：

　　1.URL标准化

　　在过程中尽量统一URL地址，勿使用动态页面进行链接，一来是搜索引擎青睐静态页面，另一方面也可以防止相同内容被搜索引擎重复收录。

　　2.利用robots.txt屏蔽动态文件

　　利用robots.txt进行动态文件的屏蔽，如：“Disallow: /?”即屏蔽了根目录下带”?”的页面,这个可以自己灵活设置。

　　3.及时的清除缓存

　　每个网站都会带有两个网址，一般网站更新文章后都需要生成静态的网址，本身就存在一个动态的，自然生成静态后就会多出一个网址，这样的话，如果没及时清除缓存，就可能使得同一个页面的静态，动态URL网址都被收录，因为这搜索引挚把同一篇文章的两个网址看作是独立的，自然就两个都被收录了。所以，及时清除缓存可以很大程度上减少网页被重复收录。

　　4.利用网站地图引导蜘蛛

　　网站地图的作用不单单是把整站的内容进行归纳，而且还可以让蜘蛛爬行更加的顺畅无阻，有序的抓取网站内的各个页面，从而也能减少蜘蛛对网站页面重复收录的概率。