首页 / 研究 / 新闻

知识产权周报
论著

2020年7月,历时八年,互联网Robots协议规则确立,本所代理奇虎360赢得不正当竞争案胜诉

案件代理:杨安进,北京市维诗律师事务所律师

案件点评:杨安进、耿琛,北京市维诗律师事务所律师

2020年7月3日,北京市高级人民法院作出(2017)京民终487号二审民事判决书,认定百度公司在缺乏合理、正当理由的情况下,以对网络搜索引擎主体区别对待的方式,限制奇虎公司的360搜索引擎抓取相关网站网页内容,影响该通用搜索引擎的正常运行,损害了奇虎公司的合法权益和相关消费者的利益,妨碍了正常的互联网竞争秩序,违反公平竞争原则,构成不正当竞争行为。本案二审判决维持北京市第一中级人民法院一审原判,即百度公司立即停止涉案不正当竞争行为,并赔偿奇虎公司损失20万元,刊登消除影响声明等。

本案二审判决的作出及其确定的法律规则,为行业内历时八年的有关Robots协议的诉讼拉锯战画上了句号。奇虎公司作为通用搜索引擎的经营者,其合法权益得到相应保障。此外,二审判决也进一步明确了Robots协议的性质和搜索引擎厂商通过Robots协议限制其他厂商搜索的不正竞争属性,具有重大的理论与实践指导价值。


一、什么是Robots协议

本案核心争议涉及Robots协议。Robots协议的英文全称是Robots Exclusion Protocol,直译为机器人排除协议,又可称为爬虫协议,是指网站所有者通过一个置于网站根目录下的文本文件,即robots.txt,告知搜索引擎的网络机器人哪些网页不应被抓取,哪些网页可以被抓取,其本质上是受访网站与搜索引擎之间的一种交互方式。

Robots协议的出现主要是为了应对网络机器人过快抓取或重复抓取相同内容导致服务器过载从而效率降低的问题。通过设置Robots协议,网站所有者能够提示网络机器人哪些内容没有必要抓取,从而引导其抓取对用户有用的信息,从而提高了效率。

1997年《网络机器人控制方法》的互联网草案中对如何设置robots.txt做了进一步说明,首次提出了“ALLOW”语句,用于表示允许抓取的范围,还强调了在语句缺失的情况下,默认值是“允许”。


二、本案基本事实与双方主张

百度公司网站中设置有采用“白名单”制度的Robots协议,即只有该文件中明确列明的搜索引擎的网络机器人才能抓取百度旗下相关网站的内容,未列明的其他搜索引擎不能抓取。

奇虎公司的360搜索于2012年8月16日上线后,百度公司所属网站中始终未将360搜索引擎列入其Robots协议的“白名单”中,造成360搜索的网络机器人不能抓取百度旗下相关网站的内容:据公证书显示,用户使用360搜索引擎搜索到百度的相关网站后,在点击访问时,会出现访问被阻断并跳转到百度搜索引擎网站的现象。奇虎公司多次与百度公司沟通,请求百度公司将360搜索列入其白名单,均遭到拒绝。

2012年11月1日,在中国互联网协会的牵头组织下,包括百度公司、奇虎公司在内的12家互联网企业签署了《互联网搜索引擎服务自律公约》(以下简称“《自律公约》”)。该公约第八条规定:互联网所有者设置机器人协议应遵循公平、开放和促进信息自由流动的原则,限制搜索引擎抓取应有行业公认合理的正当理由,不利用机器人协议进行不正当竞争行为,积极营造鼓励创新、公平公正的良性竞争环境。

为此,奇虎公司向本案一审法院起诉,要求百度公司立即停止通过Robots协议实施的不正当竞争行为。奇虎公司认为,Robots协议初衷是为了更好地促进信息流通,遵循设置善意的Robots协议会给搜索引擎带来益处,故得到普遍遵循。而百度公司Robots协议是专门针对奇虎公司的360搜索引擎,将奇虎公司排除在“白名单”之外,造成360搜索的网络机器人不能抓取百度旗下相关网站的内容,构成不正当竞争。

在审理过程中,百度公司对奇虎公司主张的事实予以认可,但以交易自由、自愿等为抗辩理由,认为其设置Robots协议是其绝对自由权利。


三、法院观点

1.一审法院观点

北京市第一中级人民法院于2017年就本案作出的一审判决指出,基于Robots协议出现伊始时所要解决的问题、Robots协议语法规则等,都表明Robots协议的初衷是为了提示搜索引擎的网络机器人更有效的抓取对网络用户的信息,从而更好的促进信息共享。因此,Robots协议作为一种互联网行业惯例,一方面要求搜索引擎的网络机器人遵守受访网站的Robots协议,另一方面也要求受访网站设置的Robots协议本身应当是合理的,不应违背“促进信息共享”的初衷。

本案中,百度公司通过设置Robots协议的方式限制360搜索引擎对其相关网页的抓取与Robots协议初衷背道而驰。并且,就我国互联网搜索行业现状而言,此种限制行为会降低360搜索用户满意度,损害奇虎公司合法权益,动机不正当。另外,以设置Robots协议方式限制通用搜索引擎必须具有出于社会公共利益等正当理由,百度公司也不具备。因此,百度公司涉案行为构成不正当竞争。

2.二审法院观点

北京市高级人民法院认为,判断该行为是否构成反不正当竞争法第二条规定的不正当竞争行为,应当从该行为的损害后果及其是否具有不正当性两方面来考量。

被诉行为严重损害了奇虎公司的权益。首先,被诉行为影响了360搜索引擎的正常运行,进而导致用户的流失;其次,被诉行为损害了相关消费者的利益,迫使存在相关需求的用户不得不更换其他搜索引擎,从而影响了用户的自主决定权;再次,被诉行为将导致360搜索引擎与百度搜索引擎之间交易机会和竞争优势的此消彼长,造成用户放弃使用360搜索引擎转而使用百度搜索引擎;最后,被诉行为有违公平竞争原则,扰乱了正常的互联网竞争秩序,将使原本遵循互联、互通、共享、开放精神的互联网变成信息相互隔绝、无法自由流动的信息“鼓捣”,有碍互联网功能的正常发挥,对互联网竞争秩序造成破坏,从而有损社会公共利益。

被诉行为违反诚实信用原则和公认的商业道德,而具有不正当性。首先,百度公司以限制特定搜索引擎抓取其网页内容,妨碍了信息自由流动,不仅歧视性损害了奇虎公司的利益,也损害了相关消费者的利益;其次,百度公司未能就其限制360搜索引擎抓取的行为提供合理的正当理由;再次,通过设置Robots协议的方式限制通用搜索引擎的抓取,并不是Robots协议当然的应有之义,而是应当受到适当的限制,而百度公司的行为无疑突破了正当的限制。

因此,百度公司被诉行为损害了奇虎公司的合法权益和相关消费者的利益,妨碍了正常的互联网竞争秩序,违反公平竞争原则,构成不正当竞争行为。


四、案件点评:利用Robots协议限制竞争对手将窒息互联网行业的活力,造成低水平恶性竞争

开放、平等、协作、分享的互联网精神,是互联网行业的内在基因,是该行业得以存在和发展的基础,为全世界所公认和尊重。而本案中,百度公司作为我国最大的搜索引擎服务商,似乎遗忘了其赖以生存生长的互联网精神,通过Robots协议及长期拉锯式诉讼的方式,限制、消耗竞争对手,严重损害了行业的健康发展。如果放任这种限制,无疑会对我国互联网行业造成难以挽回的损失。

1. Robots协议限制行为会严重妨碍信息的自由开放流通,妨碍行业的自由竞争

Robots限制行为本质上是获得优势者不正当地给后来者设置不合理的门槛,从而限制竞争者的进入。这种行为通过限制信息的自由开放流通,亦即通过控制、垄断一部分信息,从而形成一些信息孤岛,使得竞争对手的搜索引擎无法获得相应的信息,从而阻碍竞争对手的用户获得相应的信息。

此类做法极大侵害了搜索市场的正常竞争秩序,阻碍了这个行业的竞争活力,将造成“大公司通吃”的局面,最终损害用户的利益和整个行业的健康发展。

2. Robots协议限制行为会导致大型搜索引擎通过资源垄断的形式,遏制技术创新

技术创新是互联网行业的生命力所在。具有较大市场份额的大型搜索引擎完全可以通过Robots协议,轻易打垮任何新上线的搜索引擎,如此国内搜索市场将丧失竞争,形成大型搜索引擎一家独大的局面。而搜索引擎服务商为达到上述目的的手段,并非通过技术创新或商业模式创新而形成的,而是通过垄断一部分信息资源的形式实现。由此,搜索引擎行业将从技术竞争变成网站资源的竞争,从技术创新转向网站资源的争夺,我国搜索引擎的技术发展与创新将停滞不前,并在国际上逐步失去竞争力。

3. Robots协议限制行为导致大公司将公共信息私有化,窒息互联网的生命力

具有较大市场份额的大型搜索引擎网页内容中所存储的信息,并非是由此类搜索引擎服务商所原创的内容,而是在互联网精神的鼓励下,由无数个创造者共同完成的信息集合体。此类大型搜索引擎只是为这些信息的集合提供了一个平台而已。

如果此类大型搜索引擎通过恶意的Robots协议设置,实际上将这些由网民们创造的信息据为己有,并反过来妨碍网民获得这些信息,以巩固自身的垄断地位。

互联网行业的特点,使得搜索引擎、信息聚合平台等网络服务商不仅具有营利性属性,其同时具有公共服务属性。或者说,只有很好地保持公共服务属性,才能实现其营利属性。

通过Robots协议限制中小搜索引擎恰好是扼杀了网络服务商的公共服务属性,将公共信息私有化,利用互联网精神而反互联网精神,试图实现自身利益的最大化,最终必然是在极端自私自利心态的驱动下破坏了全行业的生态秩序。

4. Robots协议限制行为将严重损害互联网用户的利益

倘若大型搜索引擎滥用Robots协议的行为得到支持,最终受到极大损害的将是广大互联网用户。

首先,用户选择搜索引擎的权利将受到极大限制,由于信息孤岛的存在,原本一个搜索引擎可以完成的搜索任务,用户需在多个搜索引擎进行搜索才能保证搜索的全面性。

其次,用户接触创新搜索引擎的权利受到极大限制。由于新生搜索引擎受大型搜索引擎Robots协议限制不能提供全面的搜索结果,从而导致用户搜索体验变差,无法实质感受到搜索引擎由于技术革新带来的新的体验。

实际上,保持互联网服务的自由、开放特性,不仅能保证从业者的利益,也是用户利益最终得以保障的基础。离开互联网精神的基石,互联网用户将再次回到没有互联网时代的信息闭塞局面,从而形成行业的倒退。

如果放任大型搜索引擎携其垄断性的搜索地位,肆意排挤打压其他搜索引擎,造成其他搜索引擎服务能力显著下降以至不能生存,则国内搜索引擎技术将停滞不前,相应的互联网用户也将失去选择,最终在整个互联网行业形成恶性循环。

 

杨安进律师简介

 

杨安进,1993年毕业于华中科技大学(原华中理工大学)应用电子技术专业,工学学士。1998年毕业于中国人民大学法学院,法律硕士。具有律师、专利代理师、商标代理人资格,自1998年至今一直专门从事知识产权律师工作。2005年担任国家知识产权战略制定工作领导小组评审专家。2005年被评为北京市“优秀律师”,2013年被评为北京市“十佳知识产权律师”,2019年被《商法》杂志(China Business Law Journal)评为“ The A-List 法律精英”榜单100位中国业务优秀律师。

 

现兼任中国国际经济贸易仲裁委员会仲裁员、域名争议解决中心专家,北京知识产权法研究会常务理事及专利法专业委员会主任,同时担任北京大学、北京理工大学、华中科技大学、首都经济贸易大学、北京师范大学等高校校外硕士生导师、兼职教授、研究员等职。

 

耿琛律师简介

 

耿琛,先后毕业于天津科技大学和北京大学,取得理学学士和法律硕士学位(知识产权法方向),具有律师及专利代理师资格。耿琛律师一直专注于知识产权业务领域,在专利领域领域,代理了在最高人民法院、北京知识产权法院等审理的多件专利侵权诉讼案和专利无效行政诉讼案,并代理了多件专利无效宣告案件。在商标及不正当竞争领域,代理若干知名公司涉及网络不正当竞争、商标无效宣告等案件。