Hadoop YARN上运行MapReduce程序

Hadoop YARN上运行MapReduce程序

（1）配置集群

（a）配置hadoop-2.7.2/etc/hadoop/yarn-env.sh

配置一下JAVA_HOME

（b）配置yarn-site.xml

（c）配置：mapred-env.sh

配置一下JAVA_HOME

export JAVA_HOME=/home/hadoop/bigdatasoftware/jdk1.8.0_161

（d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

（2）启动集群

（a）启动resourcemanager

sbin/yarn-daemon.sh start resourcemanager

（b）启动nodemanager

sbin/yarn-daemon.sh start nodemanager

（3）集群操作

（a）yarn的浏览器页面查看

dfs -rm -R /home/hadoop/mapreduce/wordcount/output

（c）执行mapreduce程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /home/hadoop/mapreduce/wordcount/input  /user/hadoop/mapreduce/wordcount/output

（d）查看运行结果

bin/hdfs dfs -cat /home/hadoop/mapreduce/wordcount/output/*

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。