(4)Hadoop YARN 的 历史查看

(4)Hadoop YARN 的 历史查看

（1）开启YARN的历史查看功能

sbin/mr-jobhistory-daemon.sh start historyserver

用jps查看 多了一个JobHistoryServer

（2）Aggregation  日志的聚集功能 （将应用运行完成后的日志信息 上传到hdfs文件系统上）

在yarn-site.xml中添加属性：

    yarn.log-aggregation-enable    true    yarn.log-aggregation.retain-seconds    640800

重启YARN和  YARN的历史查看功能

1)停止resourcemanager： sbin/yarn-daemon.sh stop resourcemanager

2)停止nodemanager:sbin/yarn-daemon.sh stop nodemanager

3)停止historyserver  : sbin/mr-jobhistory-daemon.sh stop historyserver

4)jps查看 已经没有这几个进程

5）再启动

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

sbin/mr-jobhistory-daemon.sh  start historyserver

6）重新运行一个任务 上边配置的日志聚集功能就生效了

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/root/mapreduce/wordcount/input /user/root/wordcount/output2

output已经存在 所以这里用的是output2

7）运行完成之后  日志聚集功能已经将本地日志同步到hsfs上了  比如按照下边步骤查看一个日志文件：：

a.

b.

c.

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。