薪资差一倍！Spark真的那么优于Hadoop吗？

薪资差一倍！Spark真的那么优于Hadoop吗？

薪资差一倍！Spark真的那么优于Hadoop吗？

这几天在网上看到这么一个问题，贵州的大数据工程师年薪都40万不止？

一下勾起了我的兴趣，今天就来简单分析下，到底是什么原因。贵州如今是大数据之都，而贵州大数据背后是马云的阿里云。

先来看看 马云爸爸的阿里巴巴的级别定义：

•阿里薪资结构：一般是12+1+3=16薪

•年底的奖金为0-6个月薪资，90%人可拿到3个月

看看阿里巴巴大数据工程师的对应薪资年薪。

也就是说做到P7或者P8这个级别就差不多达到年薪40W的范围了。

再来看看，成为阿里的大数据工程师需要具备什么条件：

呵呵，内行的朋友应该看出来了：在阿里，只有存储数据部分仍然依赖Hadoop（分布式文件系统HDFS），而整个数据的分布式处理模块均以来Spark完成。当然，有的朋友会说：这很正常，阿里这种数据规模的企业，Spark可以弥补MapReduce读取100GB的数据或几个TB的数据时的缺陷。但这就可以构成你和40W年薪的差距吗？在这里，我来把Spark的优势彻底说清楚。

什么是Spark?

Spark 是 Apache 高级项目里面较火的大数据处理的计算引擎，包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。

与 Mapreduce 相比，Spark 具备 DAG 执行引擎以及基于内存的多轮迭代计算等优势，在SQL 层面上，比Hive/Pig引入了更多关系数据库的特性，以及内存管理技术。

Spark作为新一代大数据计算引擎，因为内存计算的特性，具有比hadoop更快的计算速度。本教程涉及Spark基础概念RDD，KeyValueRDD，RDD的常用Transformation和Action操作等。

Spark 为何优于 Hadoop

操作更简单

相比MapReduce来讲，Spark操作简单，甚至可以说非常便捷。即使对于一个简单逻辑或算法，MapReduce也需要100行代码；但使用Spark，一个简单逻辑，几行代码就可以完成。这就引出了一个关键因素，叫做用途广泛。许多对于MapReduce来讲不可能完成的机器学习或图表问题的高级算法，都可以由Spark完成。这让Spark的采用率相当高。

MapReduce没有交互模块。尽管Hive和Pig包含命令行接口，这些系统的性能仍然依赖MapReduce。MapReduce对于批处理仍然十分受用。

Spark 在内存中处理数据，而MapReduce却将处理后的数据传送回磁盘。所以Spark将优于MapReduce。

Spark占用大量内存。如果我们运行Spark的同时运行其他占用内存的服务，其性能可能大打折扣。但是，我们可以有把握地说，Spark在迭代处理方面占上风（需要多次传递同一数据）。

运行成本更低

这两者在计算能力、磁盘和网络环境方面的硬件要求都十分相似。内存越大，Spark表现越好。这两者都使用商品服务器。

MapReduce编程费力，市场上这方面的专家并不多。即便有为数不多的Spark专家，但这也仅仅是因为Spark是初创产品。所以学习Spark编程比MapReduce要容易的多。

脱离了Hadoop 的Spark

运行Spark其实并不需要Hadoop的支持。如果我们没有从分布式文件系统（HDFS）中读取数据，Spark也可以自行运行。Spark也可以从诸如S3, Cassandra等其他存储中读写数据。在这种架构下，Spark可在独立模式下运行，并不需要Hadoop 组件的支持。

产品使用快捷

近期研究表明在产品中使用Spark的用户激增。许多用户同时运行Spark和Cassandra, 或者Spark和Hadoop ，又或者在Apche Mesos上运行Spark. 尽管Spark用户数量有所增长，但并没有在大数据社区造成恐慌。MapReduce使用率可能会下降，但具体降幅未知。

许多人预测Spark会促使另一种更优质堆栈的发展。但这种新型堆栈可能会与Hadoop 及其软件包生态系统非常相似。

Spark的最大优点是简洁。但它并不会彻底消灭MapReduce，因为使用MapReduce依然大有人在。即便Spark成为大赢家，除非研发新分布式文件系统，我们将同时使用Hadoop 和Spark处理数据。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。