爬虫抓数据的合法性，从来不由“技术中立”一个词决定，而由三个变量决定：爬的对象（公开还是非公开）、爬的方式（守规则还是破防线）、爬来的数据干什么用（研究还是替代对方市场）。三个变量一交叉，同一套代码可以从合规工具变成侵权利器。本文把边界画出来。撞库、拖库这类以账号为目标的黑产行为，证据固定的方法另见名誉权、隐私权侵权如何取证？。
一、法律上挂住的几条线
- 不正当竞争线：经营者抓取竞争对手数据、实质性替代其服务的，落入一般条款：
法条依据
- 《中华人民共和国反不正当竞争法》第二条经营者在生产经营活动中，应当遵循自愿、平等、公平、诚信的原则，遵守法律和商业道德，公平参与市场竞争。
- 本法所称的不正当竞争行为，是指经营者在生产经营活动中，违反本法规定，扰乱市场竞争秩序，损害其他经营者或者消费者的合法权益的行为。
司法实践的画像：绕过登录验证、破解验证码、无视robots协议大规模抓取，抓取内容直接填充自己的产品——“不劳而获搭便车”，构成不正当竞争；
- 计算机信息系统线：突破或绕开技术保护措施抓取非公开数据，可能触及非法获取计算机信息系统数据罪：
法条依据
- 《中华人民共和国刑法》第二百八十五条……违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。
- 数据权益与个人信息线：抓取的数据含个人信息的，处理行为受个人信息保护法约束，超范围收集、倒卖另触红线。
二、合规与越界的分水岭
- 数据性质：一般合规是公开可见、无需登录；越界信号是抓取需登录、付费、权限内的数据；
- 技术方式：一般合规是遵守robots协议、控制抓取频率；越界信号是破解验证码、伪造登录态、绕过反爬措施；
- 用途：一般合规是学术统计、搜索索引；越界信号是实质性替代原服务、转售数据；
- 规模影响：一般合规是频次克制、不影响对方正常服务；越界信号是高频抓取致对方服务降级。
需要说明：robots协议本身不是法律条文，但被普遍接受为行业惯例，无视它抓取竞争对手数据在判例中反复被用作“违背商业道德”的证据。
三、被爬方与爬取方各自的动作
被爬方：
- 技术留痕：反爬日志、异常流量记录、IP聚集分析，是证明“突破防线”的基础证据；
- 证据公证：对爬取方产品页面的数据呈现做公证——它展示了替代性使用，是竞争损害的核心证明；
- 分层主张：先发函要求停止抓取；持续抓取的提不正当竞争之诉，主张停止、赔偿；突破技术措施非公开数据的评估刑事报案。
爬取方自检：
- 三问自查——数据是否公开获取？是否遵守协议与频率？用途是否替代对方？三问全绿再动手；
- 商业合作路线优先：数据许可、开放API，比对抗便宜得多。
四、操作步骤（被爬方的维权）
跟着做
1
固定抓取行为
服务器日志导出存档，记录抓取时段、频率、路径。
2
公证对方产品
呈现被抓数据的页面、数据量、更新频率，证明实质性使用。
3
发函警告
列明证据要求停止，留存回执；持续抓取即诉讼证据的又一环。
4
起诉
不正当竞争之诉，请求停止抓取、删除数据、赔偿损失；对方突破登录与验证码的，同步评估刑事线索。
5
技术加固
诉讼同时升级反爬措施，防止“边打边漏”。
五、常见误区
- 误区一：“公开数据随便爬。” 公开不等于可自由商用，抓取后做替代性使用照样构成不正当竞争；公开性只影响“获取”环节的合法性评价。
- 误区二：“我用小号手动复制，不算爬虫。” 本质是数据获取行为，规模化人工搬运同样落入“搭便车”评价，技术形态不影响定性。
- 误区三：“数据是用户的，平台无权告我。” 平台对经投入形成的数据集合享有竞争性权益，这是判例反复确认的；用户个体授权不能洗白对平台数据集合的整体挪用。
六、问答
数据权益的另一个侧面是账号与虚拟财产的保护，场景化的展开见游戏账号、虚拟财产被盗，能索赔吗；数据型不正当竞争的平台端责任分析另见短视频平台对搬运内容要担责吗：算法推荐与过滤义务。爬虫边界一句话：公开、克制、不替代——三占其二可以谈，三样全破就要挨打。
以上内容为一般性法律知识分享，不构成正式法律意见；具体案件请结合证据情况咨询执业律师。