盘点那些有关robots的屏蔽恩怨前史
本文摘要:订阅专栏撤销订阅 互联网坑货PM,虽然苦逼的继续着,不过我相信我们会有一天变得牛逼。32140这几天Robots因为百度和360违背的官司引起了世人重视,也许很多人还不知道Robots是什么。其实robots协议是一个查找引擎的国际默许条约,任何网站只需在其robots中禁
订阅专栏撤销订阅 互联网坑货PM,虽然苦逼的继续着,不过我相信我们会有一天变得牛逼。

3214

0

这几天Robots因为百度和360违背的官司引起了世人重视,也许很多人还不知道Robots是什么。其实robots协议是一个查找引擎的国际默许条约,任何网站只需在其robots中禁止查找引擎拜访,那么查找引擎就无权收录。而robots的重要性在于,一个网站有权利可以存在于互联网中,但又不被指定的查找引擎索引放到查找成果中,因为查找引擎在互联网上就像国王,网站就是每一个人的小家,而robots协议则是对抗国王的终究利器,正所谓“风能进雨能进国王不能进”。

和查找引擎打架的案例其实早就有了,而每次打架都会牵扯到robots协议,那么就来盘点下这些关于robots的恩恩怨怨吧。

一、facebook屏蔽谷歌查找

早年微软和谷歌在同一天晚上同facebook谈合作与入股,而终究微软胜出,谷歌失利。以至于至今facebook也没有对谷歌开放查找,facebook一个如此庞大的帝国竟然将另个一巨擘谷歌拒之门外,谷歌的心境不可思议。看看谷歌怎么说的。

现任雅虎CEO的早年谷歌副总梅丽莎·梅耶,在2010年说“很多内容都被隐藏了,虽然有些内容触及隐私遭到保护,但用户应当可以找到与自己相关的信息。”

谷歌CEO佩奇在2012年说:“在没有任何理由的状况下,将用户作为人质,这是没有意义的。Facebook扣下了用户的数据。”

facebook一直是屏蔽谷歌查找的,而谷歌也恨得牙痒痒。这也导致了谷歌上线google+与facebook平起平坐,但从成果来看,仍是无法撼动facebook这棵大树。

facebook屏蔽谷歌的原因也很简略,用户在facebook上发生的内容必然会有可以带来商业价值的数据并且同时也触及到用户隐私,所以facebook也相同不会将这些数据容易交给给第三方的。

facebook至今仍然屏蔽谷歌查找。

二、默多克旗下新闻屏蔽谷歌查找

从传统媒体发家的默多克,关于查找引擎的情绪适当不友善,默多克曾将查找引擎都说成是”网络寄生虫“。

默多克原话:

“他们是Google,他们是微软,他们是Ask,他们不该该免费取得内容,我想我们一直睡着了。”

而默多克在09年开始打开方案,对谷歌等查找引擎打开举动,对旗下多家新闻网站屏蔽查找爬虫。

谷歌的回应也很简略明了:

“假如贵站不想在谷歌上呈现,请修正贵站的robots文件即可”。

不过到了2012年,默多克就投降了,默多克向谷歌认输,从头允许查找抓取报纸网站。

其实默多克的主见仍是停留在传统的付费阅读的思维上,短少对网络的深入洞察。

三、淘宝屏蔽百度查找

2008年淘宝屏蔽了百度查找引擎,自此用户再也无法从百度直接查找到关于淘宝的信息。

2008年正是百度C2C平台 有啊 上线的日子,而淘宝的对决就是直接封杀百度查找,其意图在于关于用户查找习惯的从头引导,将本身作为一个专业的购物查找引擎。以突显自己的在中国的网购位置。

阿里永远不期望有一只脚踩在他头上,2012年11月,淘宝联盟开始禁止返利网模式,使得一大批淘宝客网站死亡。2013年8月,淘宝又对微信下手,屏蔽与微信的一切数据链接,又一批淘客死亡。

加上之后一淘的呈现,更不难了解阿里屏蔽百度查找的意图,其实说究竟仍是商业利益。

现在一淘现已失利,而淘宝又再一次向百度开放查找。

四、京东屏蔽一淘查找


京东和阿里向来冰炭不洽,京东禁绝用户使用支付宝支付,也因为新浪和阿里的关系禁绝用户用新浪微博登录。那么也不难了解当阿里推出一淘之后,京东的做法,京东天然也不会买账,京东也相同不允许有一只脚踩在自己头上。

2011年10月,京东和当年淘宝屏蔽百度一样,决然屏蔽了一淘查找。失掉京东这么大的一个电商平台,一淘可谓流年不顺。

至今京东仍然屏蔽着一淘查找。

五、优酷同时屏蔽百度与谷歌查找

08年底我用百度视频查找视频时意外发现,优酷消失了,后来才得知优酷本来同时屏蔽了百度与谷歌的查找引擎。

本来认为又是一场商业竞争,但后来的相关走漏中才得知优酷真正忧虑的是年底所要支付的宽带费用,为了减缓资金压力,所以同时屏蔽了百度与谷歌的爬虫查找,来减少宽带接受,同竞争无关。

回看08年那个视频网站混战的时分,各种网络存储,宽带设备都还未达到先进的境地,再加上中国的上网人口数远超美国,也就导致了视频网站开展的步履维艰,再加上正版电影的版权等一系列问题,更注定了那是一段视频网站的寒冬时期。

仅隔3个月,09年3月份,优酷又一次开放了百度谷歌的视频查找。可见这确实是一次暂时的选择。

六、QQ空间对百度谷歌查找开放


QQ空间自05年诞生时就没有开放给百度与谷歌,和facebook一样封闭。QQ的逻辑是要将QQ空间打形成一个巨大的闭环,仅有的查找只能是旗下的搜搜。

遗憾的是QQ空间是一款十分成功的产品,而搜搜则与成功无缘。虽然搜搜独家占有了QQ空间的查找,但搜搜没有抵达腾讯期望的高度。

2012年的时分,QQ空间也终于向百度与谷歌开放。

七、百度屏蔽360查找

百度旗下具有贴吧,文库,知道,百科等网站产品,所以当百度面对360这个查找引擎时,百度则从查找引擎的人物回身成了网站站长的人物,作为站长的百度对竞争对手360查找进行了屏蔽,而360直接绕过了robots协议继续采集对方信息。

从前史来看,任何网站与查找引擎发生矛盾后,只需网站的robots对查找引擎进行了屏蔽,那么任何查找引擎历来都会停止抓取,因为这是我们默许的规则,虽然没有构成法令,但已构成契约。这次360的案例比较特别,开启了违背robots的先河,未来中国的查找引擎的规则是否会有重大变化,还看这次判决吧。

本文系作者承哲授权发布,转载请注明来历于人人都是产品主管,并保留本文链接。


订阅专栏撤销订阅 互联网坑货PM,虽然苦逼的继续着,不过我相信我们会有一天变得牛逼。
人人都是产品主管(woshipm)是以产品主管、运营为核心的学习、交流、分享平台,集媒体、培训、社群为一体,全方位效劳产品人和运营人,建立9年举行在线讲座500+期,线下分享会300+场,产品主管大会、运营大会20+场,掩盖北上广深杭成都等15个城市,内行业有较高的影响力和知名度。平台集合了众多BAT美团京东滴滴360小米网易等知名互联网公司产品总监和运营总监,他们在这里与你一同生长。