Matt Cutts谈大爸爸数据中心，补充材料网页及收录网页数下降
在大爸爸数据中心更新结束后，很多站长发现被收录的网页数急剧下降。有时候能从几万页降到几页，而且补充材料网页越来越多。
很多人一直在问，为什么Matt Cutts对这个问题一直不做评论？今天Matt Cutts发了一个很长的帖子，一次性回答大爸爸更新之后的一些问题。帖子很长，下面拣要点翻译一下。
首先Matt Cutts给那些不想读这么长帖子的人两点小结。第一，Google的爬行和索引部门有足够的机器。收录网页数下降并不是因为Google没地方存了。第二，Google继续认真听取站长们的反馈。
大爸爸更新3月份已经结束
在12月爬行/索引部门已经准备好开始大爸爸更新。大爸爸指的是爬行和一部分索引软件的更新（这是第一次听说稍微具体点儿的关于大爸爸到底是什么的信息）。
1月上旬，Matt Cutts给出一个正在运行大爸爸数据中心的IP地址，要求站长们提供反馈。
2月份，大爸爸数据中心在更多数据中心使用。
3月份，很多站长开始投诉他们的网页没有被大爸爸收录，并且有越来越多的补充材料网页。
3月13 号，Google Guy (一位匿名Google员工)在站长世界论坛征求具体的例子。
在看了这些例子网站之后，我可以在几分钟之内，就看出问题在哪儿。这些在大爸爸数据中心里面有问题的网站，是那些我们的算法对这个网站的反向链接和导出链接的信任度都很低的网站。比如说大量交换链接，连向垃圾网站，买卖链接。
大爸爸和补充材料结果无关。所以当大爸爸不收录一个网站的网页的时候，补充引擎就可能收录更多的网页。
我和爬行/索引部门一起调节了算法的门槛，以收录更多这种网站。3月22号，我发了一个帖子，告诉大家我们正在收录更多的网页。
3月29号，大爸爸更新完全完成，旧系统关闭，从那之后所有的爬行都是由大爸爸控制的。
考虑到程序编码更新的数量，我觉得大爸爸更新是很成功的，只有两个投诉。第一个就是前面提到的，信任度比较低的网站的网页被爬行和收录的比较少，我们对此作出了反应，很快开始收录更多的网页。另一个投诉是Google Adsense爬行的网页开始出现在搜索结果中，实际上这是爬行缓存代理的设计。
关于大爸爸就这些了。大爸爸从12月份开始出现到3月份完全完成。在完成大爸爸之后，我们把注意力更多的转向了对补充材料结果的更新。下面将会谈到比较具体的时间表。在这同时，有一种说法是我们的机器都满了。从我个人的角度 看，我们当然有足够的机器来爬行和索引网页。
补充材料结果更新
4月初，我们开始向用户显示更新过的补充材料结果。
4月13 号，有人开始谈论被收录的网页减少了。
4月24号，Google Guy希望人们提供细节。
我看了这些反馈，并没有看出什么重要的规律。我把这些例子交给了爬行/索引部门，他们也没看出什么规律。网站地图部门也进行了研究，结论是和网站地图也没什么关系。负责补充材料结果更新的部门，检查了这些反馈意见。5月5号，他们发现使用”site:”指令(注:这个指令会列出所有被收录的网页)，并不返回补充材料结果，他们在当天就解决了这个问题。后来他们又发现了site指令无法工作于由分字符链接的域名，很快也解决了。
Google Guy在5月8号希望站长们提供更多信息。
这些就是我所知道的补充材料结果的问题和已经解决了的问题。下面举一些具体的例子，看为什么有的网站被收录的网页数急剧减少。
一个.tv关于某一个国家房地产的网站。5月3号，这个网站的管理员说他的网站从两万页降到了300页。我看过以后，用”site:”指令已经可以返回31200页。所以这个域名应该没有问题了。
一个5月11号的例子，站长只提供了网址，没有其他文字和解释。这也是一个房地产网站，有387页被收录。但是在网页底部你可以看到这些链接到铃声下载，SEO比赛，鱼油网站等等，我想我找到了问题。如果你想让你的网站更多页被收录的话，你得多考虑你的链接的质量。对索引进行了修改以后，我们处理交换链接和买卖链接的能力都提高了。
再看一个5月4号的例子，又是一个房地产网站。站长说被收录的网页数从一万降到了80，我看了一下这个网站，这回看到的是链接向贷款按揭网站，信用卡网站，运动器械网站等。和上面的一样，如果你做很多交换链接，现在新的蜘蛛有不同的爬行优先考虑，你就不要奇怪了。
再看一个健康保养的目录网站，看起来是个不错的网站，也没链接向不好的网站，但是整个域名只有6个导入链接。这么少的导入链接，我想Google蜘蛛只能爬行比较少的网页。
总体上来说，我检查的几个网站在这几天都有了更多的被收录的网页。做很多交换链接的网站，可能发现爬行次数少了。如果你的导入链接太少，被爬行的也会比较少。
我的评论：看来大爸爸完成之后，Google确实减少了对很多网站的爬行和收录。原因主要在于链接的质量。做大量交换链接，买卖链接，链接向垃圾网站，链接向无关网站，受影响会比较大。Google发现受影响的网站太多之后，也做了调整。
但是就我目前所看，被收录的网页数非常不稳定。不同数据中心之间的数据很可能还不同步，而且哪些网站会被当作补充材料的选择算法，还有很大问题。
来源：SEO每天一贴 Zac 昝辉
