[9/18]百度遵守robots.txt协议吗?

百度遵守robots.txt协议吗？原本是一个很简单的问题，百度自己说遵守，但事实却摆在人们面前，毫无疑问，百度并不遵守robots.txt协议，这是我根据百度的搜索结果和根据某些网站的robots.txt得出的结论。

结果前两天有个专家跳出来骂了：“我订阅的blog中有许多人质疑，百度是否不遵守robots协议，我很奇怪，这么简单的问题居然也要质疑，如果百度不遵守robots协议，哪混得到今天…”。这位“研究了搜索引擎六七年”叫“askbaidu”的专家一上来就给我们这些小虾米一个下马威，说我们根本没有研究过robots.txt，在这里瞎扯，话外之意，只有他研究了六七年的搜索引擎才能称得上专家，我们不是专家的就不能发表意见，起码不能发表错误的意见。当然，到头来他还说了一句“今天专家俩字变成笑谈主要还是因为装的太多了”，也不知道他究竟在骂装专家的我，还是骂他自己？

在前文中我说到，“百度在现实中几乎不遵守该协议，在淘宝已经宣称封杀百度后，百度依旧对淘宝进行更新”，结果这位askbaidu的专家就指出我的话中有毛病，首先是怀疑我是否有权利讨论百度是否遵守协议的问题，他的意思是百度是毫无条件遵守robots.txt协议的，接下来又说“您对robots所做的修改，会在48小时内生效。需要注意的是，robots.txt禁止收录以前百度已收录的内容，从搜索结果中去除可能需要数月的时间。”，这位专家可能没明白我说的意思，在提醒我robots.txt需要48小时才能生效。我要说的是，淘宝封锁百度的新闻至少曝光一个星期以上了，淘宝网主站、各个商店的二级域名的robots.txt也明确禁止百度蜘蛛的访问也至少一个星期了，如果百度遵守robots.txt协议，那么至少应该在几天前就停止对淘宝的抓取了，并且在接下来的时间里逐步移除淘宝的页面，但时至今日，百度照样在抓取淘宝的页面，你说他到底遵守robots.txt协议没有？

这是一幅百度的截图，证明至少在9月16日，百度依然在对淘宝进行抓取。不过专家又发难了，他指出百度也会发生把收录时间标错的情况，例如曾经有人搜出的某个页面的缓存时间居然是2010年的！专家认为百度的快照时间不能作为收录时间的根据。当然，这时候专家的理可是越说越糊涂了。我可不相信百度会把每个页面的快照时间都无缘无故向前推移的。

为了证明百度依然在收录淘宝，我只好找出更绝的证据了。

找到一条昨天更新的淘宝页面，点击链接打开快照，看快照的内容，与下图的直接打开页面的内容相比，证明什么？完整地说明了百度，在9月17日还依然在收录 www.taobao.com 的内容。这个铁的证据证明了百度要么不遵守robots.txt协议，要么就是过了一个星期依然未对 www.taobao.com 的robots.txt进行更新，无论如何，百度必然是没有遵守自己的申明。

另外一个证据就是搜狐博客(blog.sohu.com)，搜狐博客谢绝百度就是更早的事情了，看搜狐博客的robots.txt，明显是拒绝了百度蜘蛛，同样，百度在9月16日依然对它进行抓取！

这些证据绝对能够证明百度不遵守robots.txt协议。虽然robots.txt协议并不是任何搜索引擎都要遵循的协议，我们也没有资格要求百度遵守这个那个协议，但百度作为一个上市公司，全球最大的中文引擎，自称遵守robots.txt协议，就必定要遵守自己的诺言，否则何以维护自己的声誉？

另外，对这位askbaidu的专家，我也毫不客气地在他的博客上留言指出他的低级失误。我不晓得askbaidu究竟是否是一个自称研究了六七年的专家，总之我了解互联网这些事不过两三年，不敢班门弄斧，但客观事实还是要尊重的。有一点一直让我这个后生有点怀疑的是，该博客的首页PR为2，Alexa无数据，百度收录62页，一点也不像传说中的六七年历史的专家的博客丫？研究了六七年的搜索引擎，恐怕也是跟李彦宏称兄道弟的人物了吧？不解。求解。