中国爬虫图鉴

中国爬虫图鉴

在开始今天的分享前，先思考三个问题：

我有一个朋友叫豪哥，每年总有那么几天，豪哥会心情焦虑，坐立不安，腰膝乏力，湿身盗汗。那是因为，他又要准备抢回家的火车票了。豪哥家在湖南，离北京上千公里，每年准时回家是他的“义务”。

这两年，他的救命稻草是抢票软件。他在打折的时候买了会员。据说会员是有特权的：哪怕只抢到一张票，都会优先给他。（起码豪哥是这样安慰自己的。）

从技术上说，豪哥的救命稻草不是抢票软件，而是抢票软件背后，无数个叫做“爬虫”的东西。

你可以简单地想象：每个爬虫都是你的“分身”。就像孙悟空拔了一撮汗毛，吹出一堆猴子一样。你每天使用的百度，其实就是利用了这种爬虫技术：每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索。抢票软件，就相当于撒出去无数个分身，每一个分身都帮助你不断刷新 12306 网站的火车余票。一旦发现有票，就马上拍下来，然后对你喊：土豪快来付款。

正好在上周末，一位黑客盆友神秘兮兮地给我发来一份报告，这哥们在腾讯云鼎实验室主要负责加班，顺便和同事们开发了很多黑科技。比如他们搞了一个威胁情报系统，号称能探测到全世界的“爬虫”都在做什么。

我吹着口哨打开报告，但一分钟以后，我整个人都不好了。我看到了另一个“平行世界”：

就在我们身边的网络上，已经密密麻麻爬满了各种网络爬虫，它们善恶不同，各怀心思。而越是每个人切身利益所在的地方，就越是爬满了爬虫。

爬虫也分善恶。像谷歌这样的搜索引擎爬虫，每隔几天对全网的网页扫一遍，供大家查阅，各个被扫的网站大都很开心。这种就被定义为“善意爬虫”。但是，像抢票软件这样的爬虫，对着 12306 每秒钟恨不得撸几万次。铁总并不觉得很开心。这种就被定义为“恶意爬虫”。（注意，抢票的你觉得开心没用，被扫描的网站觉得不开心，它就是恶意的。）

1、排名第一的是出行

出行行业中爬虫的占比最高（20.87%）。在出行的爬虫中，有89.02%的流量都是冲着 12306 去的。这不意外，全中国卖火车票的独此一家别无分号。

你还记得当年12306 上线王珞丹和白百何的“史上最坑图片验证码”么？

你可能会说，不对啊，我现在还可以用抢票软件抢到票啊。没错。抢票软件也不是吃素的。它们在和铁总搞“对抗”。

有一种东西叫做“打码平台”，你可以了解一下。打码平台雇佣了很多叔叔阿姨，他们在电脑屏幕前不做别的事情，专门帮人识别验证码。那边抢票软件遇到了验证码，系统就会自动把这些验证码传到叔叔阿姨面前，他们手工选好哪个是白百何哪个是王珞丹，然后再把结果传回去。总共的过程用不了几秒时间。

当然，这样的打码平台还有记忆功能。如果叔叔阿姨已经标记了这张图是“消防栓”，那么下次这张图片再出现的时候，系统就直接判断它是“消防栓”。时间一长，12306 系统里的图片就被标记完了，机器自己都能认识，叔叔阿姨都可以坐在一边斗地主了。

为什么 12306 这么抠呢？它大方地让爬虫随意爬会死吗？

会死。

很多人可能都没坐过亚洲航空。这是一家马来西亚的廉价航空公司，航线基本都是从中国各地飞往东南亚的旅游胜地，飞机上连矿泉水都得自费买，是我等屌丝度假之首选。为什么爬虫这么青睐亚航呢？因为它便宜。确切地说，因为它经常放出便宜的票。本来，亚航的初衷只是随机放出一些便宜的票来吸引游客，但这里面黄牛党是有利可图的。

据我所知，他们是这样玩的：技术宅黄牛党们利用爬虫，不断刷新亚航的票务接口，一旦出现便宜的票，不管三七二十一先拍下来再说。

亚航有规定，你拍下来半小时（具体时间记不清了）不付款票就自动回到票池，继续卖。但是黄牛党们在爬虫脚本里写好了精确的时间，到了半小时，一毫秒都不多，他又把票拍下来，如此循环。直到有人从黄牛党这里定了这个票，黄牛党就接着利用程序，在亚航系统里放弃这张票，然后0.00001秒之后，就帮你用你的名字预定了这张票。

“我是中间商，我就要赚差价！”这波骚操作，堪称完美。

这是爬虫经常光顾的微博地址。这里的代码其实指向了微博的一个接口。它可以用来获取某个人的微博列表、微博的状态、索引等等等等。获得这些，能搞出什么骚操作呢？你想想看，如果我能随心所欲地指挥一帮机器人，打开某人的微博，然后刷到某一条，然后疯狂关注、点赞或者留言，这不就是标准的僵尸粉上班儿的流程么。。。

其实，僵尸粉都只是爬虫的常规操作，更骚的来了：

凭本事抢来的红包，就问你有什么不妥吗？

3、排名第三的是电商。你回忆一下，有几种东西叫做“比价平台”“聚合电商”和“返利平台”。他们大体都是一个原理：你搜索一样商品，这类聚合平台就会自动把各个电商的商品都放在你面前供你选择。有淘宝、京东，还有唯品会苏宁易购。

这个原理和谷歌差不多。只不过他们展示的不是网页而是商品。但是被放在一起比价，淘宝是拒绝的，京东也是拒绝的啊。。。

当然，电商对抗爬虫有另外的方法，那就是“web 应用防火墙”，简称 WAF。这个我们后面再单独说。

4、接下来是 O2O 和搜索引擎。你还记得开始之前，我问了你一个问题吗？你在大众点评上看到的信息，真是吃货们点评的吗？

答：大部分时候是，但有时候不是。这里面的影响因素还是爬虫。告诉你，这些爬虫很可能被用来做两件事：1、大众点评毕竟是最好的点评网站。很多网站都会爬取大众点评的数据，用来丰富自己的信息。2、很多刚上点评的商户，信誉值不高，可以用爬虫来模拟留言、点赞，刷高自己的信誉值。

所以，理论上讲一旦大众点评对这些爬虫对抗出现松懈，就会有一些不三不四的店铺被“刷”到顶部。而与之相似的，是爬虫针对搜索引擎的进攻。

它排在前面的网址，有可能就是经过 SEO 的。作为任何一个搜索引擎，都肯定不允许外人对于自己的搜索结果动手动脚，否则就会丧失公立性。它们会通过不定期调整算法来对抗 SEO。

尤其是很多赌博、黄色网站，搜索引擎如果敢收广告费让他们排到前面，那就离倒闭不远了。所以黄赌毒网站只能利用黑色 SEO，强行把自己刷到前面。直到被搜索引擎发现，赶紧对它们“降权”处理。不过小K算了算，这些黄色网站如果能把自己刷到前几位一两个小时，赚来的钱就远远超过 SEO 的费用。

比如，谁被告过，哪家公司曾经被行政处罚，哪个人曾经进入了失信名单。这些信息综合起来，可以用来做一个公司或者个人的信誉记录。我试着打开了一下排名第四位的“信用中国”。

在这个平台上，你只要输入一个身份证号或者手机号，就可以查询到一个人的信用情况。

如果一家公司要对外做信誉库的服务，它必须先把信用中国的信息下载到自己的库里，然后才能和其他数据进行综合运算。如此，信用中国被爬，也就很容易解释了。

不过刚才那张表格里，排名第七的是四川住建厅。这又是什么骚操作？根据小k的推测，这很可能是某些公司提供的一项“特殊服务”：他们把四川省各个地区的招标情况汇总起来，然后实时提醒那些房地产公司：别睡了，起来投标了。

说了这么多，我猜你会有几个疑问。问题 1、爬虫搞出这么多姿势，它究竟是不是违法呢？

这个问题还真的不简单。我打开中国网安第一大法《网络安全法》仔细看了半小时，在里面没有发现“爬取网络公开信息被认定为违法”的条款。于是我又继续搜索，发现了几条司法解释：未经授权爬取用户手机通讯录超过50条记录；未经授权抓取用户淘宝交易记录超过500条；未经授权读取用户运营商网站通话记录超过500条；未经授权读取用户公积金社保记录的超过50000条的。以上这些情况可以入刑。

爬虫和被爬企业越来越势不两立。说白了，他们的对抗都是在阻挡对方的财路。所以下手都挺重。

企业经典的对抗方式，大概有几种：图片验证码、滑块验证、封禁 IP、给访问者增加一些加解密运算，耗费爬虫的程序资源等等。。。

除了刚才这些小模块，企业还可以通过 WAF（Web 应用防火墙）来防护，WAF 的功能就是通过设置一些规则，拦截掉那些不符合规则的请求。但是，爬虫的请求，和真人的请求真的太像了。

我觉得，对这种战争一个形象的比喻就是抗癌。癌细胞的目的就是拼命躲过免疫细胞的识别，而免疫细胞的目标就是拼命分辨哪个是好细胞哪个是癌细胞。在我看来，这场对抗爬虫的常规战眼看就要升级为“智能战”，而且战线会向云端转移。

比如腾讯云的 WAF，听说最近就要通过人工智能的方法来识别爬虫。这里就不帮他们打广告了。还有很多其他的云安全厂商，也开始主推反爬虫的技术。不过，就像人类目前难以消灭癌症一样，企业也难以完全消灭爬虫。但是我相信，在对抗中这条战线会达到一个精妙的平衡。这个战线每向前推进一步，都需要安全研究员付出艰辛的努力。

这张表里，除了google、Youtube、ask、亚洲航空这四家企业之外，应该全是中国企业（或机关）。正是从这些名字背后，我体会到了很多人的辛酸和焦虑。

爬虫是趋利的，它们永远会向有利益的地方爬行。而爬虫觉得有利益的地方，往往是我们不忍提及的隐痛。

你看，排名第1的“中国铁路路客户服务中心”。无数像豪哥一样的游子，他们奋斗在一个远离家乡的城市，为了让家人有更幸福的生活。正是他们难以买到过年回家车票的事实，才把 12306 推上了爬虫榜的第一名。

你看，排名第8的“最高人民法院公告查询”。在中国，我们的信用体系还很不完善，骗子和老赖还可以继续蒙骗新人。所以才催生了爬虫收集法院公告，形成民间信用记录的服务。

你看，排名第15的“北京市预约挂号统一平台”。我们的医疗改革在进行，但像你我一样的普通人仍然看病难，看病贵。又便宜又好的医疗资源需要争夺，这才有了“一号难求”的现实，才有了黄牛用爬虫拼命抢号的现象。

自不用说那些神坑的虚假广告，冲榜刷量，背后都有爬虫的影子。我不知道技术是否有罪，我只知道，这些盘踞在我们广袤版图上数以十亿计的爬虫，无时无刻不在提醒着我们：抱怨不会让这个世界变得更好，你想生活在一个怎样的世界，就要用自己的双手去创造它。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。