淘宝网robots.txt拒绝百度蜘蛛抓取,抵制百度

淘宝网robots.txt拒绝百度蜘蛛抓取,抵制百度

下面是引用的中国seo的原话,不知道你看到这样的消息,会怎么想,确实现在抵制百度的事件越来越激烈了,已经有很多大门户,出来抵制。看来这事并不是空穴来风。

据其他网站新闻报道,淘宝已通过robots.txt拒绝百度蜘蛛抓取,抵制百度,举起中国门户网站反抗本土搜索大颚百度的大旗。

如何拒绝百度收录:robots.txt和Robots META标签

如何拒绝百度收录:robots.txt和Robots META标签

我们知道,搜索引擎都有自己的“搜索机器人”(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库。

对于网站管理者和内容提供者来说,有时候会有一些站点内容,不希望被ROBOTS抓取而公开。为了解决这个问题,ROBOTS开发界提供了两个办法:一个是robots.txt,另一个是The Robots META标签。

Copyright © 浩然东方 保留所有权利.   Theme  Ality 07032740

用户登录