产品介绍

　　“全国各省市三百多行业数据信息采集”、“python爬虫程序数据采集软件，专业老手，定制化服务”……在某二手交易平台上，有不少提供所谓“大数据”采集信息服务的商家，声称可进行“专业爬虫”、“各大网站数据采集、数据处理、数据分析”，还有商家叫卖数据信息采集器，购买软件“无限量”导数据还帮忙介绍“客户。

　　南都记者调查发现，数据采集业务“风光无限”的背后，隐藏着一条非法爬取用户数据的黑色产业链——“专业老手”编写爬虫软件、提供软件订务、黑产团伙购买软件批量生成“大数据”信息再转手出售。业内专家指出，非法爬取数据存在法律风险，未经平台授权爬取数据信息可能构成侵权、违法甚至犯罪行为。

　　在某二手交易平台上，以“大数据信息采集”、“数据爬取”、“数据爬虫”等为关键词在平台上进行搜索，有众多提供所谓“大数据”采集信息服务的卖家。这些卖家通常打着“数据爬虫”、“数据采集”、“数据分析”的招牌，声称可进行“专业爬虫”、“各大网站数据采集、数据处理”。

　　“全国各省市三百多行业数据信息采集”，二手平台上一位卖家称。据其在商品介绍处列出的行业类别，数据信息采集范围覆盖美容美发、餐饮美食、娱乐休闲、教育培训、亲子护理、各类学校、医疗保健、物流快递、建材装修、汽车数码等行业，售价为49元/市/行业，拍下后留下邮箱，采集的数据可当晚11点前发送到邮箱。

　　这些所谓的可爬取的“大数据”信息都包括哪些内容？二手平台上一位卖家告诉南都记者，他们可进行数据采集的范围涵盖各类网页数据、公众号网站、赶集58、链家、饿了么等网站平台的用户个人信息，还有卖家称可采集“淘宝买家、商家信息”、“WD最新一手实时申请数据”（注：WD为“网贷”拼音缩写）。

　　而根据数据采集的难易程度，价格也不同。前述告诉南都记者，数据采集服务“基本版的100，普通版的200，高级版的300，如需制作客户端软件，费用另加”。交易平台数据显示，该商品近期已被浏览超过3000次，有多名网友在该商品下方留言，询问是否有唯品会、拼多多买家、58同城应聘者电话、小区业主等信息数据，卖家表示可以提供，简历有“420万份，主要是中高端用户”，并称具体业务“私聊”。

　　南都记者发现，这些所谓提供“大数据”信息采集服务的卖家有的个人、有的则是团队化操作的工作室，有卖家称这类数据采集在行业内业务需求量大，是“微商线上微信社群营销必备数据资料”，可用于精准推广、拓展客户和商品营销。

　　除了爬取各行业用户个人信息外，南都记者还注意到，一些付费网站的内容也同样能被各类“大数据”软件采集到，二手平台上不少卖家声称可提供知网、万方、知识库、等文献期刊的数据抓取采集。此外，可公开查询的裁判文书网判决文书，也被当做商品出现在二手交易平台，有卖家称可通过数据爬虫，提取到几百万甚至上千万条裁判文书网判决文书。

　　此前，有不少用户反映裁判文书网网站运行速度慢，故障频繁，经常出现页面无法显示的问题，今年2月，最高人民法院在其官网答复称，出现此问题的原因在于，此前有大量技术公司通过爬虫系统无限制并发访问非法获取裁判文书数据，造成网站负荷过大。针对此问题，最高法表示自2018年7月起以验证码的方式上线系统软件防爬功能。

　　不久前，智联招聘“内鬼”私卖16万份简历信息一案引发关注。据了解，该案涉及的个人简历超过16万份。南都记者近日调查发现，网售个人简历“业务”同样火爆，简历“黑市”里上万份简历被打包出售，每份仅1.5元。

　　“智联招聘简历，全国各地区都有”、“长期售卖58赶集全国简历价格优惠”、“北京全国简历下载，主要下载智联、前程，也可群内交换简历”……在qq群、贴吧、二手交易平台上，有不少公开出售智联招聘、58同城、BOSS直聘等招聘网站上个人简历的帖子。仅以“简历售卖”、“简历下载”为关键词在qq群中搜索，就能找到多个出售58同城、智联招聘等知名招聘网站的简历信息的qq群，最大的群人数有上千人。

　　“全国58简历每天日产5000+，可以筛选年龄筛选重复，还有纯二手简历，可出视频验证，二手0.3元/条”，在一个名叫“58简历全国交流群”中，南都记者看到，群内不断有人发布出售知名招聘网站简历实时一手、二手信息的帖子，有的卖家还在群内交流互换资源。群内信息显示，该群群成员总计超过2千人，高峰期的在线人。

　　南都记者随机添加一位卖家为qq好友，对方称他有全国各行业各地区的简历信息，“所有简历信息都是当天实时更新”，还可以指定求职者年龄、性别、地区，售价2.2元/条，而二手的则更便宜，仅售0.3元/条。

　　随后，南都记者再随机联系二手平台上一位售卖简历的卖家，对方称他手上有上万份简历，“58同城、智联招聘、赶集网的都有”，每份简历售价1.5元，“全国随机，不指定地区”，购买量大价格还可以再优惠。

　　南都记者了解到，这些公开售卖、明码标价的个人信息，根据地域、行业类别的不同，简历的价格标准也不一样。二手平台上一位出售智联招聘简历的卖家告诉南都记者，“北上广都比较贵”、“北京地区每份简历要卖六七块”。而除出售简历信息外，企业账号也可以被当成商品出售或转卖，有卖家告诉记者，购买企业账号可以直接下载招聘网站求职者投递的简历信息，“地区行业你说了算”。

　　当记者询问购买简历的人拿这些个人信息去做什么，卖家提高了警惕，回复称“不管你拿去干什么”，还不耐烦地表示“不用跟我说这个”，随后便把记者设拉进了黑名单。

　　网售“大数据”信息如此猖獗，这些所谓的“大数据”信息从何而来？又是如何被泄露出去的？智联招聘“内鬼”私卖16万份简历信息一案揭开了数据泄露的冰山一角。

　　南都记者调查发现，数据采集业务“风光无限”的背后，隐藏着一条非法爬取用户数据的黑色产业链——“专业老手”编写爬虫软件、提供软件订务、黑产团伙购买软件批量生成数据信息再转手出售。

　　所谓爬虫，是一种常见的数据捕获技术，又被称为网页蜘蛛，网络机器人，其按照一定的规则，自动从互联网上提取网络信息的程序或脚本。当前信息网络环境下，利用爬虫软件等各种技术手段爬取互联网数据的行为广泛存在。与此同时，为保护自身数据不被爬取，很多企业也都设置了反爬虫策略。

　　“python爬虫程序数据采集软件，专业老手，定制化服务”，二手平台上一位卖家介绍，其提供各类数据采集软件订务，软件采集数据可涵盖携程春秋航空等旅游网、美团天猫京东拼多多、微博知乎豆瓣等电商社交平台。

　　该卖家告诉南都记者，软件的开发团队“由一批精通软件开发的编程高手组成”，按需要可提供各类数据爬取软件订务，并可进行“各种加密网站破解登陆”。平台信息显示，该卖家近期完成多笔交易，用户反馈“好评如潮”。

　　“网络数据订制 云端代采集 京东淘宝 车主 金融等所有行业信息采集，拍下发软件”，二手平台上一位卖家介绍。据该卖家提供的软件演示视频显示，这是一款名叫“智能云”的软件，售价980元，可采集的数据信息覆盖地图商家、搜索引擎、企业信息、车主信息等全网大数据，软件有导入微信通讯录、qq群成员提取、微信群发、微信营销、qq营销、论坛营销等多个功能界面。卖家介绍称，该软件可用来为各行业进行大数据引流、实现精准营销。

　　除提供信息定务外，南都记者调查发现，网上还有商家出售所谓简历信息采集器，这类软件可自动爬取知名招聘网站上的用户个人简历信息。

　　在qq群“58赶集简历采集”中，qq网友“无名”称简历采集器可“无限量”导出58同城求职者的个人简历信息，信息“全网实时同步”。“名字、电话、需要的工作、家庭地址都有，兼职全职都有”，还发来软件操作的视频截图。

　　“我今天产了7千，赚了550”，卖家告诉南都记者，他就是用这个软件从招聘网站导出个人简历信息，然后在网上售卖，“一手1.5元，二手0.3元”。卖家还向记者打包票，这款软件“能赚钱”、“好用”、“质量嘎嘎的”、“客户天天找我”，并表示如果买了这个软件，他还可帮忙介绍“客户”。

　　南都记者注意到，商家出售的上述简历信息采集器主要是针对58同城，而在2017年，也曾爆出过网售58简历采集器造成网站大量用户个人简历泄露。不少提供售卖简历信息采集器的卖家告诉南都记者，简历采集器“赶集网和智联招聘比较少”。

　　那么，这类简历信息采集器是如何批量爬取招聘网站的用户个人简历呢？有业内专家就此分析过58简历信息采集器的“盗取手法”：黑产团伙利用58同城在移动端的一个接口批量获取用户的简历ID以及加密不严谨的用户ID信息，再通过另一个接口导致用户包括姓名等线的微店程序能够通过用户ID最终获取用户的电话号码。

　　采访过程中，有商家还提醒南都记者，网售简历信息采集器也有优劣之分，有商家的软件是用搭建好的数据库，可供提取的数据一共才几千条，并不能实时导出网站有效数据。

　　一位出售58简历信息采集器的qq网友“大神-售58简历采集器”向南都记者表示，他的软件可实时导出58同城、赶集网简历数据，采用的是“双接口”和爬虫技术，软件安装在PC端后，设置好条件便可进行实时数据导出，“上手快好操作”，售价为700元/月。根据卖家发来的视频截图，这种简历采集器设有城市、兼职岗位、性别、年龄和发布时间等筛选条件，采集到的数据包括姓名、手机号码、学历信息、工作年限、期待月薪等个人信息。

　　国家网信办去年发布的《2017年数字中国建设发展报告》显示，2014-2017年，中国大数据产业持续高速增长。2017年中国大数据产业规模达到4700亿元，同比增长30％，预计2020年中国大数据市场产值将超万亿。

　　看似风光无限的大数据行业，其背后的大数据杀熟、隐私安全、非法爬取用户信息等乱象早已暴露无疑。有数据运营行业人士指出，通过爬虫等技术窃取用户信息、再加以售卖盈利的现象在行业内很普遍。

　　去年8月，南都记者报道了浙江绍兴越城警方侦破“史上最大规模数据窃取案”，警方阻止遭窃取的30亿条公民信息泄露。涉案的瑞智华胜等三家公司通过与网络运营商合作的机会，获取运营商服务器登录许可，并通过技术手段从运营商服务器抓取采集网络用户的登陆cookie数据，进而非法登陆网络用户的淘宝、微博等账号，获取最前端的公民个人信息，并进行强制加粉、订单爬取等行为，从中牟利，公司年营收超过3000万元。

　　有互联网安全专家指出，从运营商的层面进行流量劫持和清洗，相当于从源头上数据就丢失了，位于下游的互联网公司的安全防护能力再强，也无法防范。

　　去年8月，南都联合阿里安全部发布的《2018网络黑灰产治理研究报告》显示，2017年我国网络安全产业规模为450多亿元，而黑灰产已达近千亿元规。