数据爬取是不是不正当竞争，2025年修订后有了更直接的判断依据：经营者不得以欺诈、胁迫、避开或者破坏技术管理措施等不正当方式，获取、使用其他经营者合法持有的数据。过去这类案件要靠一般条款和个案说理，现在爬虫绕过登录、破解接口、伪造设备指纹等行为可以直接对号入座；robots 协议虽然是行业自律文件，但在个案里是判断“数据主人意愿”的核心证据。
一、规则层：2025年新设的数据条款
- 《中华人民共和国反不正当竞争法》第十三条经营者不得以欺诈、胁迫、避开或者破坏技术管理措施等不正当方式，获取、使用其他经营者合法持有的数据，损害其他经营者的合法权益，扰乱市场竞争秩序。
这一款拆开看有三个支点：手段不正当（避开验证、破坏限流、伪造身份）、对象是他方“合法持有的数据”、后果上损害数据持有者的权益并扰乱竞争秩序。平台投入服务器、带宽和算法治理形成的数据集合，法院普遍认可其享有竞争性权益，即使单个数据点是公开的，规模化抓取后整体使用也可能被认定侵权。
同一条款还覆盖了爬虫生态里常见的其他动作：
- 《中华人民共和国反不正当竞争法》第十三条经营者不得利用数据和算法、技术、平台规则等，通过影响用户选择或者其他方式，实施下列妨碍、破坏其他经营者合法提供的网络产品或者服务正常运行的行为：（一）未经其他经营者同意，在其合法提供的网络产品或者服务中，插入链接、强制进行目标跳转；（三）恶意对其他经营者合法提供的网络产品或者服务实施不兼容。
爬虫高频请求拖垮对方服务器、嵌入代码劫持对方页面跳转，都落入“妨碍、破坏正常运行”的框架。司法解释对强制跳转的认定口径是：未经经营者和用户同意直接发生的跳转即可认定，仅插入链接、由用户触发跳转的，再综合插入方式与合理性判断。
二、深入层：robots 协议与“不正当手段”的边界
robots 协议是网站通过根目录文件声明哪些内容允许抓取的行业惯例。它没有强制执行力，但司法实践长期把它当作经营者意愿的公示：明确禁止抓取的部分仍被规模抓取，法院倾向于认定为违背行业惯例和商业道德。反过来，未设 robots 限制也不等于随便爬——绕过登录验证、破解加密接口、突破访问频率限制，属于避开或破坏技术管理措施，手段本身即不正当。
抗辩一侧的常见理由有三类：抓的是公开数据、用于搜索引擎或学术研究、已取得用户授权。它们的实际效力取决于规模与替代性：适度抓取用于建立搜索索引、有合理理由且不实质性替代对方服务的，历史上多有被容忍的先例；但把对方的核心内容整体搬运后直接抢流量、做镜像站点，“替代”效果越明显越容易被认定违法。情节严重的还可能触及非法获取计算机信息系统数据类犯罪，刑事边界见破坏计算机信息系统、非法获取计算机数据，会怎么判？。
三、操作层：想做数据业务的合规动作
先查授权通道
优先使用对方开放平台、官方API和付费数据服务，合同里写清使用范围，这是唯一彻底干净的路径。
读 robots 协议与用户协议
抓取前核查目标站点的 robots 文件和服务条款中的数据条款，禁止性条款要么绕开该数据、要么另行书面取得许可。
控制规模与频率
不破解验证、不伪造登录态、不限流对抗，请求频率控制在不影响对方服务的水平。
做替代性评估
产出物不能实质替代对方产品或服务，聚合、分析后的加工成果比原样搬运安全得多。
被诉时的应对
评估停用争议数据源、删除已抓取数据集合，就损害规模与对方谈判，必要时按不正当竞争应诉并主张自身数据权益。
四、常见误区
- 误区一：页面公开就能爬。 公开只是对用户展示，不等于授权他人机器化批量获取并商用，规模化整体抓取仍然是高风险行为。
- 误区二：robots 协议没有法律效力，无视也无所谓。 它不是法律，但个案中是认定经营者意愿和商业道德的关键证据，无视明示禁令会显著提高败诉概率。
- 误区三：抓取不存储、看完即走就没事。 实时抓取直接用于自己业务的，“使用”已经发生，不需要以存储为前提。
- 误区四：我是个人开发者、没有营业执照，不适用反不正当竞争法。 参与生产经营的自然人同样属于经营者，条款对个人爬虫从业者同样适用。
五、问答
数据爬取的合规主线是三句话：能授权的不去爬、声明禁止的不去碰、非爬不可的把规模和用途压到不构成替代的范围。技术上做得到的，法律上未必做得了。爬虫行为的一般合法性分析另见爬取别人网站的数据，违法吗；网络不正当竞争的处罚幅度为十万元到五百万元罚款，被查处后的应对可与专业律师同步推进。
以上内容为一般性法律知识分享，不构成正式法律意见；具体案件请结合证据情况咨询执业律师。