数据爬取：爬虫什么时候违法、绕过反爬措施什么后果、抓到的数据能不能用

一句话定义：数据爬取是指通过自动化程序，批量获取网络页面或者数据接口所返回数据的行为。爬取行为本身不是法律概念，判断违法与否要分三层看：用了什么技术手段、抓的是什么性质的数据、造成了什么后果。法律依据散见在反不正当竞争法第十三条、网络安全法第二十九条、数据安全法第三十二条、个人信息保护法第二十七条、著作权法第二十四条与刑法第二百八十五条之中。

本词条属于网络与数据栏目。关于数据爬取，实务中有三个高频误判：以为「爬虫本身就是违法的」；以为「网站没有明确写禁止就可以随便爬」；以为「抓的是公开数据，公开就等于免费」。三个误判分别错在把「工具」当成了「行为」、把「没有禁止」当成了「已经授权」、把「可以看见」当成了「可以随意使用」。

构成要件

一、判断框架只有三层：技术手段、内容性质、后果。 三层是并列关系，任何一层踩线都可能构成违法，三层都不踩线通常不构成。实务中最常见的错误是只谈其中一层——被告说「我抓的是公开数据」（谈内容），原告说「你绕过了验证码」（谈手段），双方各说各的，谁也说服不了谁。正确的做法是三层逐层过一遍，把结论落在具体那一层上。

二、技术手段层：绕过或者破坏技术管理措施，已有明文禁止。 反不正当竞争法第十三条第四款规定（法律全文见中华人民共和国反不正当竞争法）：经营者不得以欺诈、胁迫、避开或者破坏技术管理措施等不正当方式，获取、使用其他经营者合法持有的数据，损害其他经营者的合法权益，扰乱市场竞争秩序。这一款是本次修法最重要的新增——过去这类案件只能靠该条前三项的「互联网专条」和「公认商业道德」类推，现在有了直接、明确的依据。

「避开或者破坏技术管理措施」在实践中表现为：破解或者绕过验证码、绕过登录与权限校验、伪造请求头绕过频率限制、破解加密的数据接口、绕过访问控制直接请求后端、使用大量代理地址规避封禁。注意条文用的是「等不正当方式」，是开放列举——「欺诈」「胁迫」与「避开技术措施」并列，说明立法者列举的是行为类型，不是一个封闭清单。

三、爬虫排除协议的地位：行业惯例，不是法律。 网站根目录下那个声明哪些路径允许自动抓取的文本文件，本身没有法律强制力，但它有两个实际作用：一是证明网站已经明确表达了不接受自动抓取的意愿，二是成为认定「不正当手段」的重要事实依据。反过来更要注意：它允许抓取，不等于授权使用——它管的只是「能不能抓」，不管「抓到之后能不能用、能不能再提供给别人」。

四、内容性质层：四类内容各有独立规则，不能一概而论。

个人信息。 个人信息保护法第二十七条规定（法律全文见中华人民共和国个人信息保护法），处理者可以在合理的范围内处理个人自行公开或者其他已经合法公开的个人信息，个人明确拒绝的除外；处理已公开的个人信息，对个人权益有重大影响的，应当取得个人同意。「公开」只是降低了门槛，没有取消门槛——批量抓取用户昵称、头像、地区、职业做画像，即使全部来自公开页面，仍要过「合理范围」与「重大影响」两道关。涉及敏感个人信息的，规则更严，可对照敏感个人信息那一套单独同意与影响评估要求。

著作权作品。 抓取并存储、传播作品内容，涉及复制与信息网络传播两项权能。著作权法第二十四条的十三项合理使用里，没有「数据抓取」「批量采集」这一项——「为个人学习、研究或者欣赏」这一项要求的是个人使用，商业化采集显然不符合。判断要点是抓取的是「作品」还是「事实」：抓取商品价格、销量这类事实信息，不涉及著作权；抓取商品详情页的文案、图片、评论，就涉及独创性表达。

商业秘密。 反不正当竞争法第十条界定的商业秘密是「不为公众所知悉、具有商业价值并经权利人采取相应保密措施的技术信息、经营信息等商业信息」。已经公开在网页上的信息，通常不满足「不为公众所知悉」；但需要登录才能看到的后台数据、经过技术措施保护的数据、明确标注内部使用的数据，仍可能构成商业秘密。

重要数据。 数据安全法第三十二条规定，任何组织、个人收集数据应当采取合法、正当的方式，不得窃取或者以其他非法方式获取数据；法律、行政法规对收集、使用数据的目的、范围有规定的，应当在规定的目的和范围内收集、使用。重要数据的具体目录由各地区、各部门确定，抓取前要先判断目标数据是否落在目录内。

五、后果层：干扰正常运行是独立红线。 网络安全法第二十九条规定：任何个人和组织不得从事非法侵入他人网络、干扰他人网络正常功能、窃取网络数据等危害网络安全的活动；不得提供专门用于从事这类活动的程序、工具；明知他人从事危害网络安全的活动，不得为其提供技术支持、广告推广、支付结算等帮助。「干扰正常功能」在爬虫案件里是最常见的事实——高频请求、超大并发、分布式抓取导致目标系统响应缓慢、正常用户无法访问甚至宕机，即使抓的全是公开数据，也可能单独落入这一条。

六、刑法层面有两道门，第二道门更容易被忽略。 刑法第二百八十五条第二款：违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者实施非法控制，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。「采用其他技术手段」这六个字是关键——不一定要「侵入」，用技术手段批量取走数据同样落入。

第三款是「提供工具」：提供专门用于侵入、非法控制计算机信息系统的程序、工具，或者明知他人实施这类违法犯罪行为而提供程序、工具，情节严重的，依照第二款处罚。写爬虫框架、做破解工具对外销售或者提供下载，风险可能高于自己抓一次。

七、平台协议的责任是合同责任，与技术违法是两条独立的线。 用户协议里「禁止使用自动化程序抓取」的条款，通常被认定为有效；违反的后果是违约责任，包括停止使用、赔偿损失、承担维权费用。这里要分清两组关系：「我没有绕过任何技术措施」不能对抗合同责任——签了协议就要守；「协议里没写禁止」也不能对抗技术措施与内容性质层面的规则——合同没约定不等于法律允许。

八、「实质性替代」是判断损害的核心标准。 抓取行为是否损害原平台利益，实务上看三件事：是否形成对原产品或服务的实质性替代（用户不再去原平台，而用你的产品获得同样内容）；是否直接搬运核心内容而没有任何增量；是否破坏了原平台的商业模式（比如把付费内容免费提供、把广告位屏蔽掉）。这个标准比「有没有获得授权」更贴近裁判思路——不少案件里被告并没有授权，但因为只是做搜索索引、给原站带流量，法院并未认定构成不正当竞争。

九、抓取不是终点，存储与再提供都是处理。 抓到的数据如果包含个人信息：存储本身就构成处理，「我只是抓下来还没用」不是抗辩；向第三方提供要符合个人信息保护法关于向他人提供个人信息的规则；向境外提供要走出境规则，具体判断可参照企业数据合规与个人信息出境的框架。很多企业以为风险只在「抓」的那一下，其实风险分布在抓取、存储、使用、提供、出境五个环节。

十、被指控时的抗辩顺序，顺序本身很重要。 第一步看技术手段（有没有绕过、有没有破坏技术措施）；第二步看内容（是否含个人信息、作品、商业秘密、重要数据）；第三步看后果（有没有干扰正常运行、有没有形成实质性替代）；第四步才看授权与协议（有没有许可、协议怎么约定）。先讲「我获得了授权」而回避前三个问题，通常会被认为在避重就轻——因为授权只能解决合同层面的问题，解决不了技术措施与内容性质层面的违法性。

法条依据

与相邻概念的区别

一、与非法侵入计算机信息系统的区别。 侵入是进入系统，抓取是取走数据，两者可以分离——完全不侵入、只请求公开页面也能抓取。但反过来说，不侵入不代表不构成犯罪：刑法第二百八十五条第二款把「侵入」和「采用其他技术手段获取数据」并列，后者不要求进入系统内部。

二、与侵犯著作权的区别。 著作权侵权看的是内容有没有独创性表达、使用行为落不落在法定权能里；数据抓取的不正当竞争看的是手段是否正当、竞争秩序是否被破坏。同一行为可能同时构成两者——抓取并转载他人文章，既侵犯信息网络传播权，又可能构成不正当竞争。赔偿计算路径也不同，著作权侵权的赔偿可以参照著作权侵权赔偿计算的思路估算。

三、与不正当竞争的区别。 反不正当竞争法的适用通常要求存在竞争关系并造成损害后果，纯粹的个人研究、媒体调查、公益监督通常不具备这个前提——这也是为什么「个人抓取」与「企业抓取」的法律风险差别很大，但要注意：不具备竞争关系只影响反不正当竞争法这一条线，不影响个人信息、著作权、刑法这几条线。

四、与政府信息公开申请的区别。 申请公开是向行政机关提出、由行政机关答复的法定程序；自动抓取是自行获取。政府网站上的公开信息同样受技术措施与使用规则的约束，不能因为「这是政府公开的」就认为可以任意批量抓取、二次销售。

实操指引

第一步，先给抓取行为画一张三层表。 技术手段（有没有绕过验证码、频率限制、登录校验、加密接口）；内容（有没有个人信息、作品、商业秘密、重要数据）；后果（并发量与请求频率、会不会影响正常用户、抓到的数据用来做什么）。三层逐项打勾，哪一层有风险就在哪一层做处置，不要笼统地问「这样爬行不行」。

第二步，技术手段上守住「不绕过」这条线。 遵守爬虫排除协议；不破解验证码、不伪造身份、不绕过登录与权限、不规避频率限制；控制并发与请求间隔，把对目标系统的影响降到可忽略。这一条是最容易做到、也最容易被抓住的——日志、请求特征、代理地址池都会留下痕迹。

第三步，内容上做分类清单。 逐项确认：是否含可识别到个人的信息（含间接识别）；是否含他人享有著作权的文案、图片、音视频；是否可能是对方的核心经营数据；是否属于重要数据目录范围。含个人信息的，按个人信息保护法的规则处理；含作品的，按著作权法评估合理使用；含核心经营数据的，按商业秘密标准评估。

第四步，用途上做「实质性替代」自测。 问三个问题：用户会不会因为你的产品而不再使用原平台？你提供的内容相对原平台有没有增量（筛选、聚合、分析、提醒）？你有没有破坏原平台的收费或者广告模式？三个答案如果都是「会」「没有」「破坏了」，不正当竞争的风险很高；如果有明显增量，抗辩空间大得多。

第五步，把数据全生命周期管起来。 抓取、存储、使用、对外提供、跨境、删除，每一环都要有记录和权限控制。这一步同时是合规体检的必查项，可以参照企业合规体检全流程逐项对照。如果抓取的数据里包含个人信息并且已经泄露，处置路径要看个人信息泄露的专门指引；收到对方主张权利的函件时，回函的基本结构可以参考律师函的写法，先核实事实、再表态、最后给方案。

常见问题