一、避免网站重复页面被收录
如果站长们有阅读过百度优化手册的话，相信都会记得其中有一条标明对网站重复页面的信息，也就是说同一个域名下存在两个不同URL地址，但是页面是完全相同，那么这时候搜索引擎只会在两个url下选择其一。而搜索引擎并不能够从根本上区分要收录两个页面中的哪一个，那么这个时候也就造成了网站重复页面被蜘蛛抓取，搜索引擎收录。虽然这样的做法确实可以提升我们网站的收录，但是最终的结果也是必然被搜索引擎剔除，这个时候就很容易的造成我们收录上面的大波动。并且如果网站中存在大量重复内容页面的话，也很容易会被搜索引擎认定为采用作弊手法，所以对网站的发展是极为不利的，严重者可能会直接被降权、被K。如果您网站存在大量的重复页面的话，可以通过robots进行屏蔽重复页面的链接。
二、避免一些不友好页面被收录
在很多的时候，一些站长们会遇到这样一种两难的局面，网站的某些文章质量低下，虽然搜索引擎不喜欢它，但是却能够得到用户的喜爱，那么这个时候我们就需要采用一些手法来屏蔽，让搜索引擎无法抓取收录。
三、避免网站死链接被收录
对于一个网站的运营发展而言，存在一些死链接是非常正常的事情。比如说我们在删除某一个栏目或者某篇文章的情况下，无论这些页面是否已经被搜索引擎所收录，我们都是需要将这些页面屏蔽掉。也许这时候很多人就不解了，收录的屏蔽也就算了，为什么那些没有收录的页面也要屏蔽掉呢？其实原因简单，在很多时候搜索引擎已经收录了这些页面，只不过是收录了还没有放出来，所以无论收录与否的页面，我们都是需要进行屏蔽，也可以利用404页面来处理。
四、避免一些不必要的页面被收录
对于很多网站而言，网站上存在一些用户信息以及后台的页面，对于这些页面而讲，往往对于搜索引擎而言是无意义的，所以都属于一些比较低质量的页面内容，并且严重的话还有可能会涉及一些用户的隐私问题，所以对于这类型页面的屏蔽也是非常必要的。
其实对于网站而言，收录并非就是多了才好，因为在很大一部分上我们不能仅仅关注表面的数据上，而更多的时候是需要我们去提升网站页面的价值所在，尤其是在百度对页面质量要求越来越高的情况下，一定要在保证页面质量好的情况下在去追求收录量。
