Spark on Yarn

Spark on Yarn

YARN是什么

YARN在hadoop生态系统中的位置

YARN产生的背景

YARN的基本架构

ResourceManager

NodeManager

ApplicationMaster

container

Spark On Yarn 配置和部署

编译时包含yarn

基本配置

在没有配置的前提下试下启动spark-shell

可以看到启动没问题

这里问题就来了！！！

下面我们配上来看看

可以看到报错了！！！

应该是资源不足导致的

先重启一下各个进程

$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.JavaSparkPi --master yarn-cluster --num-executors 1 --driver-memory 1g --executor-memory 1g --executor-cores 1 $SPARK_HOME/lib/spark-examples-1.6.1-hadoop2.6.0.jar

注意观察了

可以看到

以下为视频内容（本人自己的环境出错，费了好多精力找不到原因）

提交spark job给yarn

在跑的过程中我们可以在网页上看到

Spark On Yarn 运行架构解析

yarn client

如何更改默认配置

在这里修改

环境变量

​​http://spark.apache.org/docs/1.6.1/running-on-yarn.html​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。